[논문 리뷰] One-Shot Neural Architecture Search via Compressive Sensing

Minsu Cho, Mohammadreza Soltani외 1명|arXiv (Cornell University)|2019. 06. 07.

Advanced Neural Network Applications참고 문헌 45인용 수 16

한 줄 요약

이 논문은 압축 측정과 부울 푸리에 분석을 활용하여 최소한의 검증 측정치로 높은 성능을 내는 아키텍처를 효율적으로 식별하는 one-shot 신경망 아키텍처 탐색 방법 CoNAS를 제안한다. 아키텍처 성능을 희박한 부울 함수로 모델링하고 LASSO 기반 복원을 통해 CoNAS는 DARTS와 NAS-Bench-201에서 이론적 측정 효율 보장을 하면서도 경쟁 가능한 정확도를 달성한다.

ABSTRACT

Neural Architecture Search remains a very challenging meta-learning problem. Several recent techniques based on parameter-sharing idea have focused on reducing the NAS running time by leveraging proxy models, leading to architectures with competitive performance compared to those with hand-crafted designs. In this paper, we propose an iterative technique for NAS, inspired by algorithms for learning low-degree sparse Boolean functions. We validate our approach on the DARTs search space (Liu et al., 2018b) and NAS-Bench-201 (Yang et al., 2020). In addition, we provide theoretical analysis via upper bounds on the number of validation error measurements needed for reliable learning, and include ablation studies to further in-depth understanding of our technique.

연구 동기 및 목표

• 한 번의 검증 측정치로 최소화된 검증 측정치를 통해 신경망 아키텍처 탐색(NAS)의 높은 계산 비용을 해결한다.
• 기존 one-shot NAS 방법에서의 프록시 모델의 한계를 극복하기 위해 이론적으로 탄탄한 희박한 복원 프레임워크를 도입한다.
• 서브아키텍처의 이진 인코딩을 통해 다양한 아키텍처를 탐색할 수 있는 새로운 탐색 공간을 개발한다.
• 압축 측정 이론 원칙을 활용하여 신뢰할 수 있는 아키텍처 복원을 위해 필요한 측정 수의 이론적 경계를 제공한다.
• LASSO 최적화를 통해 복원 가능한 저차수의 희박한 부울 함수로 아키텍처 정확도를 모델링하여 검색 효율성과 성능을 향상시킨다.

제안 방법

• DAG 기반 탐색 공간에서 아키텍처를 각 엣지의 연산을 인코딩하는 이진 벡터로 표현하여 서브아키텍처의 이산적 표현을 가능하게 한다.
• 아키텍처의 검증 손실을 이진 인코딩의 초입체 위에서 정의된 실수값 부울 함수로 모델링한다.
• 아키텍처 성능 함수를 푸리에 기저 분해를 통해 표현하며, 저차수 단항식(차수 ≤ d)에서의 희박성을 가정한다.
• 파rameter 공유를 갖는 one-shot 모델을 사용하여 아키텍처 성능의 랜덤 측정치로부터 그래프 샘플링 행렬 A를 구성한다.
• m개의 측정치로부터 LASSO 회귀를 적용하여 희박한 푸리에 계수를 복원하고, 가장 영향력 있는 아키텍처 구성 요소를 식별한다.
• 복원된 해에서 절댓값이 가장 큰 s개의 계수에 대응하는 이진 벡터를 선택하여 최적의 아키텍처를 재구성한다.

실험 결과

연구 질문

• RQ1 압축 측정 원리가 one-shot NAS에서 필요한 검증 측정 수를 효과적으로 줄이는 데 적용될 수 있는가?
• RQ2 푸리에 도메인에서 아키텍처 성능 함수의 희박성이 NAS의 정확도와 효율성에 어떤 영향을 미치는가?
• RQ3 LASSO 기반의 희박한 복원을 통해 높은 성능을 내는 아키텍처를 신뢰성 있게 복원하기 위해 필요한 최소 측정 수는 얼마인가?
• RQ4 한 번의 학습에서 훈련된 아키텍처의 순위가 one-shot 프록시 모델의 예측과 얼마나 관련이 있는가?
• RQ5 LASSO 정규화 파rameter의 변화에 대해 CoNAS 솔루션은 얼마나 안정적인가?

주요 결과

• CoNAS는 DARTS 탐색 공간과 NAS-Bench-201에서 경쟁 가능한 정확도를 달성하였으며, 최적의 LASSO 파rameter 설정에서 테스트 오차가 3.51% ± 0.06이다.
• 이론적 분석에 따르면 제한된 이소메트릭성 조건(Restricted Isometry Property, RIP) 하에서 m = O(log²(1/δ)δ⁻²s log²(s/δ)d log n) 측정치로도 높은 확률로 신뢰할 수 있는 복원이 가능하다.
• one-shot 모델 예측과 실제 훈련 결과 간 킬링스키 타우 상관계수는 약한 관계를 보이며(τ = 0.15, p = 0.23) 프록시 모델의 순위 정확도가 떨어짐을 시사한다.
• CoNAS는 LASSO 파arameter 변화에 대해 뛰어난 내성성을 보이며, 다양한 λ 값에 대한 해들 간 해밍 거리는 낮게 유지(≤12)되고 테스트 오차는 3.51–3.74% 범위에서 안정되어 있다.
• 엔코더의 140개 중 평균 15개의 활성 연산을 복원함으로써 효과적인 희박성 유도를 보였다.
• 최적 설정에서 CoNAS는 무작위 아키텍처 탐색보다 우수한 성능을 보이며, 테스트 오차는 4.43% ± 0.08 대비 CoNAS의 3.51% ± 0.06을 기록했다.