[논문 리뷰] To Share or Not To Share: A Comprehensive Appraisal of Weight-Sharing

Aloïs Pourchot, Alexis Ducarouge외 1명|arXiv (Cornell University)|2020. 02. 11.

Food Waste Reduction and Sustainability참고 문헌 27인용 수 13

한 줄 요약

이 논문은 nasbench-101 데이터셋을 사용하여 신경망 구조 탐색(NAS)에서 가중치 공유(WS)를 평가하며, WS는 프록시 정확도와 진정한 정확도 사이에 상당한 상관관계를 달성할 수 있지만, 프록시 평가의 검색 공간 기반 편향으로 인해 랜덤 서치를 뛰어넘지 못하는 경우가 많다는 점을 입증한다. 연구는 WS 슈퍼넷의 구조적 편향—예를 들어 잔차 연결이나 3×3 컨벌루션의 과도한 평가—이 상관관계 수준보다도 NAS 성능을 더 심각하게 떨어뜨리는 경향이 있음을 드러낸다.

ABSTRACT

Weight-sharing (WS) has recently emerged as a paradigm to accelerate the automated search for efficient neural architectures, a process dubbed Neural Architecture Search (NAS). Although very appealing, this framework is not without drawbacks and several works have started to question its capabilities on small hand-crafted benchmarks. In this paper, we take advantage of the asbench dataset to challenge the efficiency of WS on a representative search space. By comparing a SOTA WS approach to a plain random search we show that, despite decent correlations between evaluations using weight-sharing and standalone ones, WS is only rarely significantly helpful to NAS. In particular we highlight the impact of the search space itself on the benefits.

연구 동기 및 목표

• 가중치 공유(WS)가 랜덤 서치에 비해 신경망 구조 탐색(NAS)의 효율성을 일관되게 향상시키는지 평가하는 것.
• 검색 공간의 구조가 WS 프록시 평가 내 편향을 형성하는 데 미치는 영향을 조사하는 것.
• WS 프록시 점수와 별도의 정확도 사이의 높은 상관관계가 더 나은 NAS 성능을 보장하는지 판단하는 것.
• 배치 정규화 미세조정 및 학습 방법론이 WS 평가 품질에 미치는 영향을 분석하는 것.
• WS가 랜덤 서치나 Regularized Evolution와 같은 단순한 기준보다 성능이 열 劣하는 이유를 이해하는 것.

제안 방법

• 100,000개 이상의 아키텍처에 대해 정확한 검증 정확도를 제공하는 nasbench-101 데이터셋을 활용하여 WS 성능을 평가한다.
• 네 가지 다른 검색 공간 $\mathcal{A}_1$, $\mathcal{A}_4$, $\mathcal{A}_{\text{full}}^{\text{res}}$, 및 $\mathcal{A}_{\text{full}}^{\text{res}}$ 에서 가중치 공유를 사용하여 슈퍼넷을 훈련한다.
• 프록시 정확도와 별도 평가 결과 간의 상관관계를 향상시키기 위해 슈퍼넷 내 배치 정규화 통계를 미세조정한다.
• 동일한 검색 공간에서 WS 기반 탐색을 랜덤 서치 및 Regularized Evolution(RE)와 비교한다.
• 프록시 정확도 대 진정한 정확도 산점도를 분석하여 WS 평가 내 구조적 편향을 식별한다.
• 클러스터링 및 분포 분석을 사용하여 특정 아키텍처 패턴의 체계적 과평가 또는 과소평가 여부를 탐지한다.

실험 결과

연구 질문

• RQ1 다양한 검색 공간에서 WS가 랜덤 서치에 비해 NAS 성능을 일관되게 향상시키는가?
• RQ2 WS 프록시 점수와 별도 정확도 간의 상관관계가 실제 NAS 성공을 얼마나 잘 예측하는가?
• RQ3 슈퍼넷 내 구조적 편향이 WS가 NAS 프록시로서의 신뢰성에 미치는 영향은 무엇인가?
• RQ4 WS 평가 내 검색 공간 특화 편향이 WS가 때로 단순한 기준보다 성능이 열 劣하는 이유를 설명할 수 있는가?
• RQ5 배치 정규화 미세조정이 WS 프록시 평가 품질 향상에 어떤 역할을 하는가?

주요 결과

• 프록시 점수와 별도 정확도 간의 높은 상관관계를 달성하기 위해 배치 정규화 통계의 미세조정이 필수적이다.
• 일부 경우에서 상당한 상관관계(예: 스피어만의 rho > 0.7)가 존재하더라도, WS 기반 탐색이 항상 랜덤 서치나 Regularized Evolution를 뛰어넘지 못한다.
• $\mathcal{A}_4$에서는 첫 번째 노드에 3×3 컨벌루션을 가진 아키텍처에 대한 강한 과평가 편향이 존재하여 최상위 모델 선택이 열 劣하게 되며, 이로 인해 WS는 랜덤 서치보다 열 劣한 성능을 보인다.
• $\mathcal{A}_1$에서는 잔차 연결을 선호하는 편향이 WS 성능을 향상시켜, WS 효율성이 검색 공간의 구조에 매우 의존함을 보여준다.
• 프록시 정확도 분포에 다중 모드가 존재하는 것은 상관관계 지표만으로는 포착되지 않는 체계적 편향을 시사한다.
• 검색 공간 기반의 WS 평가 편향—특정 아키텍처 패턴의 과도한 평가—은 상관관계 품질보다도 NAS 결과를 더 크게 좌우하는 경우가 많다.