[논문 리뷰] Understanding the wiring evolution in differentiable neural architecture search

Sirui Xie, Shoukang Hu외 5명|arXiv (Cornell University)|2020. 09. 02.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 다양한 가중치를 가진 신경망 아키텍처 탐색(differentiable neural architecture search, NAS)에서 특정 연결 구조(topology)를 다른 것들보다 선호하는 암묵적 편향에 대해 조사한다. 각 간선(edge)에 대해 국소 비용 최소화 문제로 NAS를 재구성함으로써, 저자들은 비용 할당 메커니즘과 학습 동역학—특히 双계층 최적화(bi-level optimization)에서—이 강력한 인도적 편향(inductive biases)을 유도하며, 이는 다양성 있는 아키텍처 구조의 선택을 억제하고, 더 넓고 단순한 아키텍처를 선호하게 한다는 점을 드러낸다.

ABSTRACT

Controversy exists on whether differentiable neural architecture search methods discover wiring topology effectively. To understand how wiring topology evolves, we study the underlying mechanism of several existing differentiable NAS frameworks. Our investigation is motivated by three observed searching patterns of differentiable NAS: 1) they search by growing instead of pruning; 2) wider networks are more preferred than deeper ones; 3) no edges are selected in bi-level optimization. To anatomize these phenomena, we propose a unified view on searching algorithms of existing frameworks, transferring the global optimization to local cost minimization. Based on this reformulation, we conduct empirical and theoretical analyses, revealing implicit inductive biases in the cost's assignment mechanism and evolution dynamics that cause the observed phenomena. These biases indicate strong discrimination towards certain topologies. To this end, we pose questions that future differentiable methods for neural wiring discovery need to confront, hoping to evoke a discussion and rethinking on how much bias has been enforced implicitly in existing NAS methods.

연구 동기 및 목표

• 다양한 가중치를 가진 신경망 아키텍처 탐색 방법이 아키텍처 탐색 과정에서 깊이보다 넓이를 선호하는 이유를 이해한다.
• 연결 구조의 관측된 진화 패턴(예: 간선 제거 후 선택적 복구)을 유도하는 기초 메커니즘을 조사한다.
• 기존 NAS 프레임워크에 내재된 암묵적 인도적 편향을 드러내며, 최적의 신경망 아키텍처 구조 탐색을 왜곡할 수 있음을 밝힌다.
• 발견된 아키텍처가 전역 최적성(global optimality)을 반영한다는 가정을 도전하며, 이는 학습 방식의 제약 조건에 의해 형성된 결과임을 보여준다.
• NAS에서 이중 최적화(bi-level optimization)와 가중치 공유 전략을 재평가하여 아키텍처 탐색에서 의도하지 않은 편향을 줄이도록 유도한다.

제안 방법

• 각 간선에서 국소 비용 최소화 문제로 다양한 가중치를 가진 신경망 아키텍처 탐색을 재구성함으로써, 개별 간선의 행동을 분석적이고 경험적으로 연구할 수 있도록 한다.
• 간선 비용을 근사하기 위한 확장 가능한 몬테카를로 추정기(Monte Carlo estimator)를 도입하여, 탐색 과정 중 아키텍처 진화의 미시적 시각을 제공한다.
• NAS에서의 비용 할당 메커니즘과 기존의 기울기 기반 파rameter 역전파 방식 간의 차이를 분석한다.
• 이론적 및 경험적 분석을 통해 비용 역학과 대체 손실(surrogate loss) 간의 연관성을 규명하며, 학습 동역학이 아키텍처 선택에 어떻게 영향을 미치는지 밝힌다.
• 분류 손실 $L_{\bm{\theta}}$와 엔트로피 $H_{\bm{\theta}}$를 사용해 학습 세트와 검색 세트의 행동을 비교함으로써 과적합과 불확실성 교정 오류를 탐지한다.
• 이중 최적화를 사례 연구로 활용하여, 비용 분리와 보류 세트에 대한 잘못된 확신으로 인한 아키텍처 탐색의 치명적 실패(catastrophic failure)를 보여준다.

실험 결과

연구 질문

• RQ1 이론적으로 표현력이 동일한데도 불구하고, 다양한 가중치를 가진 신경망 아키텍처 탐색 방법이 왜 깊이보다 넓이를 선호하는가?
• RQ2 탐색 과정에서 간선이 처음에는 제거되고 나중에 선택적으로 복구되는 관측된 진화 패턴은 무엇 때문인가?
• RQ3 NAS에서의 비용 할당 메커니즘이 표준 기울기 기반 파rameter 업데이트와 어떻게 다를지, 그리고 어떤 편향을 유도하는가?
• RQ4 왜 이중 최적화가 의미 있는 연결 구조를 탐색하지 못하는가? 과적합과 불확실성 교정 오류는 어떤 역할을 하는가?
• RQ5 발견된 아키텍처가 전역 최적성의 결과가 아니라, 학습 체계의 산물인 정도는 어느 정도인가?

주요 결과

• 다양한 가중치를 가진 신경망 아키텍처 탐색에서의 비용 할당 메커니즘은 표준 역전파와 근본적으로 다르며, 특정 아키텍처를 선호하는 암묵적 편향을 유도한다.
• 이중 최적화에서 검색 세트에서 잘못된 예측에 대한 비용 값은 유의미하게 더 커진다(2.18 대비 0.80), 이는 아키텍처 탐색에서 치명적인 실패를 의미한다.
• 검색 세트에서 훈련된 서브넷은 학습 세트보다 더 높은 분류 손실($L_{\text{wrong}} = 2.92$)과 낮은 엔트로피($H_{\text{wrong}} = 0.74$)를 보이며, 과신과 잘못된 분류를 암시한다.
• 학습 과정에서 비용은 양에서 음으로 감소하여 아키텍처 성장을 촉진하지만, 이 경향은 이중 최적화에서는 반전되거나 정지되어 간선 선택이 일어나지 않는다.
• 넓이에 대한 선호는 본질적 우수성 때문이 아니라, 기본 아키텍처와 학습 체계의 인도적 편향 때문임을 밝힌다.
• 최종 아키텍처는 전역 최적성이 아니라 비용 역학, 정규화, 가중치 공유의 상호작용에 의해 형성되며, 이는 현재의 NAS 평가 방식의 공정성에 의문을 제기한다.