[논문 리뷰] Differentiable Architecture Search with Ensemble Gumbel-Softmax

Jianlong Chang, Xinbang Zhang외 4명|arXiv (Cornell University)|2019. 05. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 11

한 줄 요약

이 논문은 다양한 피드포워드 및 순환 네트워크를 대상으로 종단간(end-to-end), 효율적인 아키텍처 탐색을 가능하게 하는, 앙상블 고무-소프트맥스 추정기를 사용하는 미분 가능 신경망 아키텍처 탐색 방법인 DARTS-EGS를 제안한다. 이는 아키텍처를 이진 코드로 모델링하고, 미분 가능 샘플링을 활용하여 이미지 분류 및 언어 모델링에서 최신 기술 수준의 성능을 달성하면서도 높은 탐색 효율성을 유지한다.

ABSTRACT

For network architecture search (NAS), it is crucial but challenging to simultaneously guarantee both effectiveness and efficiency. Towards achieving this goal, we develop a differentiable NAS solution, where the search space includes arbitrary feed-forward network consisting of the predefined number of connections. Benefiting from a proposed ensemble Gumbel-Softmax estimator, our method optimizes both the architecture of a deep network and its parameters in the same round of backward propagation, yielding an end-to-end mechanism of searching network architectures. Extensive experiments on a variety of popular datasets strongly evidence that our method is capable of discovering high-performance architectures, while guaranteeing the requisite efficiency during searching.

연구 동기 및 목표

• 신경망 아키텍처 탐색(NAS)에서 효과성과 효율성의 균형을 맞추는 데 도전한다.
• 미분 가능 탐색을 통해 네트워크 아키텍처와 파라미터를 동시에 최적화하는 종단간 최적화를 가능하게 한다.
• 사전 정의된 연결을 가진 임의의 피드포워드 네트워크를 포함하도록 탐색 공간을 확장하여 아키텍처의 다양성을 높인다.
• 지연된 보상과 높은 계산 비용을 피하는 스케일이 가능하고 효율적이며, 미분 가능한 아키텍처 탐색 메커니즘을 개발한다.

제안 방법

• 고정된 연결 수와 순서가 있는 노드를 가진 임의의 피드포워드 네트워크를 표현하기 위해 탐색 공간을 이진 코드로 표현한다.
• 이산적인 아키텍처 선택에 대한 미분 가능 샘플링을 가능하게 하는 앙상블 고무-소프트맥스 추정기를 도입하여 비미분 가능한 연산을 대체한다.
• 스티어티식 샘플링을 M번 반복하여 탐색의 다양성과 성능을 향상시키면서도, 역전파를 통한 기울기 흐름을 유지한다.
• 탐색 중에는 배치 정규화를 적용하고 평가 시에는 비활성화하여 학습을 안정화시킨다.
• 표준 역전파 기법을 사용하여 아키텍처와 가중치를 하나의 최적화 루프에서 함께 최적화한다.
• 학습 가능한 연산과 하이웨이 밸런스 연결을 사용하여 셀을 모델링함으로써 합성곱 및 순환 아키텍처를 모두 지원한다.

실험 결과

연구 질문

• RQ1 미분 가능 NAS 방법은 계산 효율성을 유지하면서 더 넓고 다양한 탐색 공간을 효과적으로 탐색할 수 있는가?
• RQ2 기존 정책 그래디언트 또는 강화 학습 기반 접근 방식에 비해 앙상블 고무-소프트맥스는 아키텍처 탐색에서 어떤 개선을 이룬다?
• RQ3 제안된 방법은 이미지 분류 및 언어 모델링과 같은 다양한 작업에 일반화되는가?
• RQ4 샘플링 횟수 M의 수치가 탐색 성능과 모델 정확도에 어떤 영향을 미치는가?
• RQ5 이러한 방법으로 발견된 아키텍처는 전이 가능성(transferability)을 통해 하류 작업에 잘 일반화되는가?

주요 결과

• CIFAR-10에서 DARTS-EGS는 테스트 오차 2.86%를 기록하여 DARTS(3.01%)를 능가하고 새로운 최고 기록을 수립했다.
• ImageNet에서 DARTS-EGS는 상위-1 오차 23.5%를 기록하여 DARTS(24.0%)를 능가하며 대규모 분류 작업에서 강력한 성능을 보였다.
• PTB에서의 언어 모델링 작업에서 DARTS-EGS는 퍼플렉서티 59.3을 기록하여 DARTS(61.1)를 능가하며 순환 아키텍처 탐색에서의 효과성을 입증했다.
• VOC-2012 세그멘테이션 작업에서 DARTS-EGS는 mIoU 76.8%를 기록하여 DARTS(75.4%) 대비 +1.4% 향상되었으며, 복잡한 작업에서의 뛰어난 성능을 보였다.
• 실험 결과, 샘플링 횟수 M을 늘일수록 성능 향상이 관찰되어 더 풍부한 탐색 공간의 이점이 확인되었다.
• 이식 가능성은 이미지 및 언어 작업 모두에서 유지되었으며, PTB와 WT2와 같은 다양한 데이터셋에서 일관된 성능 향상이 관찰되었다.