[논문 리뷰] On Redundancy and Diversity in Cell-based Neural Architecture Search

Xingchen Wan, Binxin Ru외 2명|arXiv (Cornell University)|2022. 03. 16.

Advanced Memory and Neural Computing인용 수 7

한 줄 요약

이 논문은 셀 기반 신경망 아키텍처 탐색(NAS) 공간에 대한 사후 분석을 수행하여, 복잡한 탐색 공간임에도 불구하고 아키텍처 간에 높은 재현성과 낮은 다양성이 있음을 밝혀냈다. 성능은 주로 단순하고 반복적인 패턴들에 의해 결정되며, 이는 종종 고전적인 설계와 유사하다. 대부분의 설계 선택은 기능적으로 무의미하다. 이러한 패턴들에 제약을 두면, 무작위로 샘플된 아키텍처가 최상위 성능(SOTA)을 달성하거나 초월할 수 있으며, 이는 현재의 NAS 탐색 공간의 효용성에 의문을 제기하고, 보다 단순하고 원칙적인 탐색 공간 설계의 필요성을 시사한다.

ABSTRACT

Searching for the architecture cells is a dominant paradigm in NAS. However, little attention has been devoted to the analysis of the cell-based search spaces even though it is highly important for the continual development of NAS. In this work, we conduct an empirical post-hoc analysis of architectures from the popular cell-based search spaces and find that the existing search spaces contain a high degree of redundancy: the architecture performance is minimally sensitive to changes at large parts of the cells, and universally adopted designs, like the explicit search for a reduction cell, significantly increase the complexities but have very limited impact on the performance. Across architectures found by a diverse set of search strategies, we consistently find that the parts of the cells that do matter for architecture performance often follow similar and simple patterns. By explicitly constraining cells to include these patterns, randomly sampled architectures can match or even outperform the state of the art. These findings cast doubts into our ability to discover truly novel architectures in the existing cell-based search spaces, and inspire our suggestions for improvement to guide future NAS research. Code is available at https://github.com/xingchenwan/cell-based-NAS-analysis.

연구 동기 및 목표

• 주목할 만한 셀 기반 NAS 탐색 공간에서 발견된 아키텍처의 기초적 구조와 기능적 다양성을 조사하기 위해.
• 예를 들어 명시적 감소 셀과 같은 널리 채택된 설계 패턴이 성능을 실제로 향상시키는지, 아니면 단지 복잡성을 증가시키기만 하는지 평가하기 위해.
• 다양한 탐색 방법에서 유도된 고성능 아키텍처들이 공통의 단순한 구조적 패턴을 공유하는지 확인하기 위해.
• 이러한 핵심 패턴에 제약을 두어 무작위로 샘플된 아키텍처가 최상위 성능(SOTA) 메서드와 동일하거나 이를 초월할 수 있는지 평가하기 위해.
• 현재의 탐색 공간 설계에 내재된 결함을 밝히고 향후 NAS 연구를 이끌기 위해 개선 방안을 제안하기 위해.

제안 방법

• 설명 가능한 인공지능 도구를 사용하여 DARTS 셀 기반 탐색 공간에서 훈련된 다양한 NAS 방법의 아키텍처에 대해 사후 분석을 수행하여 기능 중요도를 점검하였다.
• 수천 개의 아키텍처를 대상으로 성능을 평가하기 위해 대체 모델(예: NB301 예측기)을 활용하여 대규모 실험적 분석을 가능하게 하였다.
• 모델에 종속되지 않는 해석 기법을 적용하여 성능에 가장 큰 영향을 미치는 아키텍처 구성 요소를 식별하였다.
• 추론 분석을 통해 각 구성 요소의 성능에 미치는 영향을 측정함으로써 부과적인 연산과 연결을 체계적으로 제거하였다.
• 식별된 고성능 영향 패턴에 기반한 명시적 제약 조건을 적용한 무작위로 샘플된 아키텍처의 성능을 평가하였다.
• 최소한 200개의 아키텍처로 훈련된 단순한 대체 모델을 통해 결과를 검증하였으며, 이는 비용 효율적인 분석이 가능함을 보여주었다.

실험 결과

연구 질문

• RQ1 다양한 탐색 알고리즘에 의해 발견된 셀 기반 NAS에서의 고성능 아키텍처들이 다를 바 없이 공통의 구조적 패턴을 공유하는가?
• RQ2 예를 들어 별도의 감소 셀과 같은 널리 채택된 설계 선택이 성능 향상에 기여하는가, 아니면 단지 탐색 공간의 복잡성을 증가시키기만 하는가?
• RQ3 핵심 성능 영향 패턴에 제약을 두어 무작위로 샘플된 아키텍처가 최상위 성능(SOTA) NAS 방법과 동일하거나 이를 초월할 수 있는가?
• RQ4 탐색 공간의 명목상 복잡성이 실제로 고성능 아키텍처의 기능적 다양성과 얼마나 일치하는가?
• RQ5 단순화된 패턴 기반 제약 탐색 공간이 기존의 복잡하고 수작업으로 설계된 탐색 공간보다 성능과 효율성 측면에서 뛰어나게 설계될 수 있는가?

주요 결과

• 셀 기반 아키텍처의 성능는 단순하고 반복적인 구조적 패턴들에 의해 비례적으로 크게 영향을 받으며, 이는 고전적인 CNN 설계와 유사하다.
• 일반적으로 사용되는 설계 요소들—예를 들어 명시적 감소 셀—은 기능적으로 중복되며, 성능 향상에 거의 기여하지 않지만 탐색 공간의 복잡성을 크게 증가시킨다.
• 다양한 탐색 전략에도 불구하고 고성능 아키텍처들은 놀랄 만큼 유사한 기능적 구조를 공유하며, 이는 탐색 공간 내에서 실제로 낮은 기능적 다양성을 의미한다.
• 핵심 성능 영향 패턴에 제약을 두어 무작위로 샘플된 아키텍처는 CIFAR-10과 ImageNet에서 다양한 네트워크 폭과 깊이에서 SOTA NAS 방법과 동일하거나 이를 초월하는 테스트 정확도를 달성한다.
• 대체 모델을 사용하여 최소 200개의 아키텍처로도 분석을 효과적으로 수행할 수 있으며, 이는 탐색 공간에 대한 비용 효율적인 평가가 가능함을 시사한다.
• 현재 표준 셀 기반 탐색 공간은 설계 측면에서 본질적으로 결함이 있으며, 복잡성보다는 기능적 다양성을 우선시하지 않으며, 결과적으로 기존 수작업으로 설계된 네트워크와 유사한 아키텍처를 선호하는 편향을 낳을 수 있다.