[논문 리뷰] BS-NAS: Broadening-and-Shrinking One-Shot NAS with Searchable Numbers of Channels

Zan Shen, Qian Jiang외 3명|arXiv (Cornell University)|2020. 03. 22.

Advanced Neural Network Applications참고 문헌 36인용 수 4

한 줄 요약

이 논문은 스프링 블록을 통해 수련 중인 슈퍼넷 훈련 동안 검색 가능한 채널 수를 허용하는 새로운 One-Shot 신경망 구조 탐색 프레임워크인 BS-NAS를 제안한다. 이후 불량한 성능을 보이는 연산을 제거하기 위해 단계적 축소 전략을 적용한다. 이 방법은 검색 공간 표현과 순위 상관관계를 향상시켜 ImageNet에서 최상의 76.3% top-1 정확도를 달성한다.

ABSTRACT

One-Shot methods have evolved into one of the most popular methods in Neural Architecture Search (NAS) due to weight sharing and single training of a supernet. However, existing methods generally suffer from two issues: predetermined number of channels in each layer which is suboptimal; and model averaging effects and poor ranking correlation caused by weight coupling and continuously expanding search space. To explicitly address these issues, in this paper, a Broadening-and-Shrinking One-Shot NAS (BS-NAS) framework is proposed, in which `broadening' refers to broadening the search space with a spring block enabling search for numbers of channels during training of the supernet; while `shrinking' refers to a novel shrinking strategy gradually turning off those underperforming operations. The above innovations broaden the search space for wider representation and then shrink it by gradually removing underperforming operations, followed by an evolutionary algorithm to efficiently search for the optimal architecture. Extensive experiments on ImageNet illustrate the effectiveness of the proposed BS-NAS as well as the state-of-the-art performance.

연구 동기 및 목표

• 기존 One-Shot NAS 방법에서 고정되어 수동으로 정의된 채널 수로 인한 열악한 성능을 해결한다.
• 슈퍼넷 훈련 중 가중치 결합과 확장된 검색 공간으로 인한 모델 평균화 효과와 열악한 순위 상관관계를 완화한다.
• 슈퍼넷 훈련 중 동적 채널 수 검색을 통해 검색 공간 표현을 풍부화한다.
• 새로운 축소 전략을 통해 점진적으로 성능이 열악한 연산을 제거하여 One-Shot 아키텍처 순위의 신뢰성을 향상시킨다.
• 광범위한 넓히기, 축소, 진화적 탐색을 통합한 종단 간 프레임워크를 통해 ImageNet에서 최상의 성능을 달성한다.

제안 방법

• 깊이분할형과 포인트웨이즈 컨벌루션을 분리함으로써 네트워크 안정성을 해치지 않으면서도 유연한 출력 채널 수를 허용하는 스프링 블록을 도입한다.
• 출력 채널 수를 학습 가능한, 미분 가능한 하이퍼파rameter로 만들음으로써 슈퍼넷이 훈련 도중 최적의 채널 수를 검색하도록 허용한다.
• 훈련 단계 동안 검증 정확도를 기반으로 각 레이어별로 성능이 열악한 연산을 정렬하고 제거하는 단계적 축소 전략을 제안한다.
• 축소된 검색 공간에서 진화 알고리즘을 적용하여 재훈련 비용을 최소화하면서 최적의 아키텍처를 효율적으로 식별한다.
• 지속적으로 높은 성능을 보이는 연산만 축소 단계를 거쳐 살아남는 점진적 제거 과정을 유지함으로써 부정확성과 순위 정밀도 향상을 줄인다.
• 모듈화되고 확장 가능한 구성 요소를 설계함으로써 MobileNetV2를 초과하는 다양한 신경망 아키텍처와의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 슈퍼넷 훈련 중 채널 수의 동적 검색이 One-Shot NAS의 검색 공간 표현 능력을 향상시키는가?
• RQ2 점진적이고 레이어 기반의 축소 전략은 모델 평균화 효과를 효과적으로 줄이고 One-Shot 및 독립 모델 순위 간 상관관계를 향상시키는가?
• RQ3 고정 채널 One-Shot 방법에 비해 제안된 프레임워크는 검색 효율성과 최종 아키텍처 성능을 어느 정도 향상시키는가?
• RQ4 스프링 블록은 다양한 아키텍처에서 성능 안정성을 유지하면서도 민감한 채널 수 적응을 가능하게 하는가?
• RQ5 넓히기와 축소 전략의 조합은 ImageNet에서 검색된 모델의 최종 정확도와 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 BS-NAS 프레임워크는 ImageNet 데이터셋에서 기존 One-Shot NAS 방법을 능가하는 최상의 76.3% top-1 정확도를 달성한다.
• 단계적 축소 전략은 One-Shot 모델의 정확도 분포를 크게 향상시키며, 최종적으로 축소된 검색 공간에서 얻은 모델은 더 적은 에포크 수로도 축소 없이 훈련된 모델을 뛰어넘는 성능을 보인다.
• 최종적으로 축소된 검색 공간에서 훈련된 모델(연산의 10%만 유지)은 초기화 상태에서 75.1%의 top-1 정확도를 달성했으며, 남아 있는 연산의 품질을 입증한다.
• One-Shot 모델 순위와 해당 독립 모델 정확도 간 상관관계가 크게 향상되어, 가중치 결합이 감소하고 예측 정밀도가 향상됨을 나타낸다.
• One-Shot과 독립 모델 간 정확도 격차는 약 14%로, 채널 수 검색의 복잡성 증가로 인한 것으로 분석되며, 수렴성과 순위 정확도 향상을 위해 검색 공간 축소가 필수적임을 시사한다.
• 스프링 블록은 훈련 안정성을 해치지 않으면서도 효과적인 채널 수 검색을 가능하게 하며, 이 프레임워크는 MobileNetV2를 초월해 다른 신경망 아키텍처로도 확장 가능하다.