[논문 리뷰] Evolving Search Space for Neural Architecture Search

Yuanzheng Ci, Lin Chen외 4명|arXiv (Cornell University)|2020. 11. 22.

Advanced Neural Network Applications참고 문헌 63인용 수 6

한 줄 요약

이 논문은 신경망 검색 공간을 점진적으로 진화시켜, 반복적으로 부분 집합에서 검색하고 탐색하지 않은 연산으로 이를 보충함으로써 검색 공간을 점진적으로 발전시키는 새로운 NAS 프레임워크인 Neural Search-space Evolution(NSE)을 제안한다. 파레토 최적의 검색 공간을 유지하고 지속적인 지식 보존을 가능하게 함으로써, 지식 정규화나 정규화 없이도 333M FLOPs에서 ImageNet에서 77.3%의 상위-1 정확도를 달성하며, 지식 정규화나 정규화 없이도 NAS에 의해 생성된 모델 중 최고 성능을 기록한다. 또한 지연 시간 제약 조건 하에서도 모바일 모델을 능가한다.

ABSTRACT

The automation of neural architecture design has been a coveted alternative to human experts. Recent works have small search space, which is easier to optimize but has a limited upper bound of the optimal solution. Extra human design is needed for those methods to propose a more suitable space with respect to the specific task and algorithm capacity. To further enhance the degree of automation for neural architecture search, we present a Neural Search-space Evolution (NSE) scheme that iteratively amplifies the results from the previous effort by maintaining an optimized search space subset. This design minimizes the necessity of a well-designed search space. We further extend the flexibility of obtainable architectures by introducing a learnable multi-branch setting. By employing the proposed method, a consistent performance gain is achieved during a progressive search over upcoming search spaces. We achieve 77.3% top-1 retrain accuracy on ImageNet with 333M FLOPs, which yielded a state-of-the-art performance among previous auto-generated architectures that do not involve knowledge distillation or weight pruning. When the latency constraint is adopted, our result also performs better than the previous best-performing mobile models with a 77.9% Top-1 retrain accuracy.

연구 동기 및 목표

• 기존 NAS 방법이 큰 검색 공간에서 비효율적으로 작동하는 반면 성능이 떨어지는 반직관적인 실패 현상을 해결하기 위해.
• 전문가가 설계한 제약 조건이 있는 검색 공간이 필요 없도록 하여, 큰 연산 풀에서 자동으로 확장 가능한 탐색을 가능하게 하기 위해.
• 지속적인 학습 프레임워크를 개발하여 검색 반복 과정 동안 지식을 유지하면서 점차 검색 공간을 확장하기 위해.
• 더 큰 아키텍처 유연성과 성능을 위해 다중 브랜치 아키텍처로 방법을 확장하기 위해.
• 검색 공간 설계에 대한 인간의 간섭을 최소화하고 완전히 자동화된 신경망 아키텍처 검색으로 나아가기 위해.

제안 방법

• NSE는 큰 검색 공간에서 무작위로 선택된 작은 연산 부분 집합으로 시작하여, 이 부분 집합에서 아키텍처 검색을 수행한다.
• 각 검색 반복 후, 이전에 탐색하지 않은 연산을 큰 풀에서 부분 집합으로 보충함으로써 점진적인 탐색을 가능하게 한다.
• 각 반복에서 도출된 파레토 최적의 아키텍처들이 다음 라운드를 위한 지식 습득 검색 공간으로 통합된다.
• 진화 과정 중에 습득된 검색 공간을 안정화시켜 성능 저하를 방지하기 위해 '잠금 및 재연습(Lock and Rehearse)' 전략을 도입한다.
• 아키텍처 다양성과 표현력을 높이기 위해 학습 가능한 다중 브랜치 설정을 통합한다.
• One-Shot NAS를 통한 슈퍼넷 훈련을 통해 진화하는 검색 공간 부분 집합 전반에서 효율적인 아키텍처 평가를 수행한다.

실험 결과

연구 질문

• RQ1 큰 검색 공간으로 확장할수록 성능 향상이 기대되지만, 왜 기존 NAS 방법은 큰 검색 공간에서 성능 향상을 얻지 못하는가?
• RQ2 더 큰 연산 풀을 점차 탐색하면서도 성능 향상을 유지할 수 있도록 검색 공간을 점진적으로 진화시킬 수 있는가?
• RQ3 이전 검색 반복에서 얻은 지식을 어떻게 보존하고 후속 검색 단계에서 활용할 수 있는가?
• RQ4 검색 공간 진화가 발견된 아키텍처의 품질과 다양성에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 지식 정규화나 가중치 정규화 없이도 최신 기술(SOTA) NAS 방법을 능가할 수 있는가?

주요 결과

• NSE는 지식 정규화나 정규화 없이도 333M FLOPs에서 ImageNet에서 77.3%의 상위-1 재학습 정확도를 달성하며, 지식 정규화나 정규화 없이도 NAS에 의해 생성된 모델 중 최고 성능을 기록한다.
• 지연 시간 제약 조건 하에서 NSE는 77.9%의 상위-1 정확도를 달성하여 이전에 가장 우수한 성능을 보였던 모바일 모델을 능가한다.
• 메서드는 지속적인 수렴을 보이며, 최고 성능의 아키텍처와 집계된 검색 공간 둘 다 반복적인 진화 라운드 동안 향상된다.
• 작은 초기 검색 공간 부분 집합(예: K=5)이 큰 부분 집합(예: K=9)보다 더 좋은 수렴을 이끌어내며, 점진적 검색 전략의 타당성을 입증한다.
• '잠금 및 재연습' 전략은 핵심적이다. 이 전략을 제거하면 성능 저하가 심각하게 발생함으로써, 지식 전이의 안정화에 이 전략이 중요한 역할을 한다는 점을 확인한다.
• 검색 공간 단순화와 집계는 검색 공간의 품질을 크게 향상시키며, 집계된 공간이 원본 및 단순화된 변형보다 뛰어난 성능을 보인다.