[논문 리뷰] Noisy Differentiable Architecture Search

Xiangxiang Chu, Bo Zhang|arXiv (Cornell University)|2020. 05. 07.

Semantic Web and Ontologies참고 문헌 61인용 수 37

한 줄 요약

NoisyDARTS는 차등 가능한 아키텍처 검색(DARTS) 중 스킵 연결에 편향되지 않은 가우시안 노이즈를 주입하여 스킵 경로의 불공정한 이점을 억제하고 손실 지형을 매끄럽게 하며 더 낮은 검색 비용으로 최첨단 NAS 성능을 가능하게 한다.

ABSTRACT

Simplicity is the ultimate sophistication. Differentiable Architecture Search (DARTS) has now become one of the mainstream paradigms of neural architecture search. However, it largely suffers from the well-known performance collapse issue due to the aggregation of skip connections. It is thought to have overly benefited from the residual structure which accelerates the information flow. To weaken this impact, we propose to inject unbiased random noise to impede the flow. We name this novel approach NoisyDARTS. In effect, a network optimizer should perceive this difficulty at each training step and refrain from overshooting, especially on skip connections. In the long run, since we add no bias to the gradient in terms of expectation, it is still likely to converge to the right solution area. We also prove that the injected noise plays a role in smoothing the loss landscape, which makes the optimization easier. Our method features extreme simplicity and acts as a new strong baseline. We perform extensive experiments across various search spaces, datasets, and tasks, where we robustly achieve state-of-the-art results. Our code is available at https://github.com/xiaomi-automl/NoisyDARTS.

연구 동기 및 목표

• 스킵 연결에 과도하게 의존함으로써 야기되는 Differentiable Architecture Search(DARTS)의 성능 붕괴를 동기화하고 해결한다.
• 그라디언트 흐름을 규제하고 아키텍처 검색을 안정화하기 위한 간단하고 편향되지 않은 노이즈 주입 전략을 제안한다.
• 편향되지 않은 노이즈 설계와 그로 인한 손실 지형 매끄러움에 대한 이론적 근거를 제시한다.
• 다양한 탐색 공간, 데이터셋 및 작업에 걸쳐 NoisyDARTS를 경험적으로 검증하여 탐색 비용을 감소시키면서 최첨단 결과를 달성한다.

제안 방법

• Skip 연결의 출력에 가우시안 노이즈를 첨가하여(OF S: Only For Skip; 또한 더 넓은 범주인 NFA: Noise For All 옵션) 후보 연산 간의 그라디언트 흐름을 규제한다.
• 중간 특징에 z ~ N(μ, σ^2) 형태의 노이즈를 더해 추정치를 편향되지 않게 하고 E[z] = 0를 보장한다.
• 검색 목표는 α와 w에 대한 검증 손실을 최소화하는 기존의 소프트맥스 기반 아키텍처 가중치 α와 DARTS 최적화 프레임워크를 유지한다.
• 주입되는 노이즈에 대한 설계 원칙을 도출한다: 편향되지 않음은 중요하며, 분산 σ^2는 탐색 및 규제 강도를 제어하고 노이즈 유형은 대체로 호환 가능하다.
• 노이즈가 손실 지형을 매끄럽게 하는 이론적 직관을 제공하며, 두 번째 차수 확장을 통해 노이즈 목적어를 근사하여 더 잘 이길 수 있는 연산을 선호하는 모습을 보인다.

실험 결과

연구 질문

• RQ1 편향되지 않은 추가적 노이즈가 DARTS에서 스킵 경로의 불균형적 이점을 완화하는가?
• RQ2 NoisyDARTS가 다양한 탐색 공간과 데이터셋에서 더 낮은 탐색 비용으로 강건하고 최첨단 NAS 성능을 달성할 수 있는가?
• RQ3 주입된 노이즈의 편향성과 분산이 최적화 역학 및 최종 아키텍처 품질에 어떤 영향을 미치는가?
• RQ4 표준 DARTS 변형과 비교하여 축소/강건한 탐색 공간에서도 NoisyDARTS 접근법이 효과적인가?
• RQ5 효율성과 성능 면에서 대안적 노이즈 규제 방법(SDARTS 등)과 NoisyDARTS를 비교했을 때 어떤 차이가 있는가?

주요 결과

• NoisyDARTS는 스킵 연결의 불공정한 이점을 제거하여 붕괴를 방지하고 경쟁력 있는 모델을 가능하게 한다.
• 여러 벤치마크와 공간에서 NoisyDARTS는 RobustDARTS에 비해 탐색 비용이 현저히 낮으면서 최첨단 결과를 달성한다.
• 제로-평균 편향되지 않은 노이즈를 사용하면 CIFAR-10 및 ImageNet 평가에서 안정적인 성능 향상을 얻을 수 있다.
• 편향된 노이즈(또는 드롭아웃 유사 대안)과 비교했을 때, 편향되지 않은 노이즈가 그라디언트 편향 완화 및 탐색 안정성 향상에 일관되게 우수하다.
• 변형 연구에서 편향되지 않은 제로-평균 노이즈가 필수적이며, 편향된 노이즈는 성능을 저하시킬 수 있고 최적화를 오도할 수 있다.