[논문 리뷰] ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradients Accumulation

Xiaoxing Wang, Xiangxiang Chu외 5명|arXiv (Cornell University)|2020. 11. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 4

한 줄 요약

ROME는 파라미터 분리와 기울기 누적 기법을 통해 연결성과 연산을 분리함으로써 단일 경로 기반 미분형 신경망 구조 탐색에서 발생하는 불안정성 문제를 해결하는 강건하고 메모리 효율적인 신경망 구조 탐색 방법을 제안한다. 이 방법은 샘플링 분산을 줄이기 위해 기울기 누적 기법을 사용하며, 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 더 높은 탐색 안정성과 일관성을 확보한다.

ABSTRACT

Single-path based differentiable neural architecture search has great strengths for its low computational cost and memory-friendly nature. However, we surprisingly discover that it suffers from severe searching instability which has been primarily ignored, posing a potential weakness for a wider application. In this paper, we delve into its performance collapse issue and propose a new algorithm called RObustifying Memory-Efficient NAS (ROME). Specifically, 1) for consistent topology in the search and evaluation stage, we involve separate parameters to disentangle the topology from the operations of the architecture. In such a way, we can independently sample connections and operations without interference; 2) to discount sampling unfairness and variance, we enforce fair sampling for weight update and apply a gradient accumulation mechanism for architecture parameters. Extensive experiments demonstrate that our proposed method has strong performance and robustness, where it mostly achieves state-of-the-art results on a large number of standard benchmarks.

연구 동기 및 목표

• 단일 경로 기반 미분형 신경망 구조 탐색에서 간과된 탐색 불안정성 문제를 해결함으로써, 낮은 메모리 사용에도 불구하고 신뢰성에 영향을 미치는 문제를 해결하고자 한다.
• 탐색 단계와 평가 단계 간의 아키텍처 토폴로지 일관성을 확보하기 위해 연결성과 연산 파라미터를 분리함으로써 구조적 독립성을 확보하고자 한다.
• 아키텍처 최적화 과정에서의 가중치 업데이트 시 샘플링 분산과 불공평성을 줄이고자 한다.
• 기울기 누적과 연결성 분리 기법을 통해 메모리 효율적인 신경망 구조 탐색의 강건성과 성능 일관성을 향상시키고자 한다.

제안 방법

• 아키텍처의 토폴로지(연결성)와 연산을 분리하기 위해 별도의 파라미터를 도입함으로써 연결성과 연산을 독립적으로 샘플링할 수 있도록 한다.
• 여러 샘플링 단계 동안 기울기를 평균화하여 아키텍처 파라미터 업데이트의 안정성을 높이기 위해 기울기 누적 메커니즘을 활용한다.
• 다양한 연결 구성에 걸쳐 업데이트를 균일하게 분배함으로써 아키텍처 파라미터의 공정한 샘플링을 보장한다.
• 메모리 효율성을 유지하기 위해 단일 경로 탐색 경로를 유지하면서도 아키텍처 분리 기법을 통해 안정성을 향상시킨다.
• 기울기 기반 최적화를 사용한 미분형 탐색을 수행하지만, 아키텍처 파라미터 업데이트의 분산과 편향을 줄이기 위해 업데이트 과정을 수정한다.

실험 결과

연구 질문

• RQ1 단일 경로 신경망 구조 탐색에서 연결성과 연산의 분리가 탐색 불안정성에 어떤 기여를 하는가?
• RQ2 연결성과 연산 간의 파라미터 분리가 탐색 일관성 향상에 기여하는가?
• RQ3 기울기 누적 기법이 아키텍처 파라미터 업데이트에서 샘플링 분산을 어느 정도 줄이는가?
• RQ4 제안된 방법이 기존의 메모리 효율적인 신경망 구조 탐색 기법들보다 더 뛰어난 성능과 강건성을 달성하는가?

주요 결과

• ROME는 다양한 표준 벤치마크에서 최신 기술 수준의 성능을 달성하며, 뛰어난 탐색 안정성과 일관성을 입증한다.
• 이 방법은 단일 경로 신경망 구조 탐색에서 연결성과 연산이 뒤엉킨 상태에서 발생하는 탐색 불안정성을 크게 감소시킨다.
• 기울기 누적 기법은 샘플링 분산을 효과적으로 완화하고 아키텍처 파라미터 업데이트의 공정성을 향상시킨다.
• 연결성 분리 기법을 통해 연결성과 연산의 독립적 샘플링이 가능해져 훈련 안정성이 향상된다.