[논문 리뷰] $β$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search

Peng Ye, Baopu Li외 4명|arXiv (Cornell University)|2022. 03. 03.

Advanced Neural Network Applications인용 수 14

한 줄 요약

이 논문은 다양한 디퍼런셜 신경망 아키텍처 탐색에서 활성화된 아키텍처 파라미터(β)를 명시적으로 정규화하는 새로운 정규화 방법인 β-DARTS를 제안한다. 이는 성능 붕괴에 대한 강건성과 다양한 데이터셋 간 일반화 능력을 향상시킨다. β(소프트맥스 이후)에 베타 감쇠 정규화를 적용함으로써 학습이 안정화되고 하이퍼파ram터에 대한 민감도가 감소하며, 최소한의 계산 오버헤드로 NAS-Bench-201과 NAS-Bench-1Shot1에서 최고 수준의 성능을 달성한다.

ABSTRACT

Neural Architecture Search~(NAS) has attracted increasingly more attention in recent years because of its capability to design deep neural networks automatically. Among them, differential NAS approaches such as DARTS, have gained popularity for the search efficiency. However, they suffer from two main issues, the weak robustness to the performance collapse and the poor generalization ability of the searched architectures. To solve these two problems, a simple-but-efficient regularization method, termed as Beta-Decay, is proposed to regularize the DARTS-based NAS searching process. Specifically, Beta-Decay regularization can impose constraints to keep the value and variance of activated architecture parameters from too large. Furthermore, we provide in-depth theoretical analysis on how it works and why it works. Experimental results on NAS-Bench-201 show that our proposed method can help to stabilize the searching process and makes the searched network more transferable across different datasets. In addition, our search scheme shows an outstanding property of being less dependent on training time and data. Comprehensive experiments on a variety of search spaces and datasets validate the effectiveness of the proposed method.

연구 동기 및 목표

• DARTS에서 성능 붕괴 문제, 특히 스킵 커넥션의 지배로 인한 성능 붕괴를 해결한다.
• 다른 데이터셋과 탐색 공간 간에 검색된 아키텍처의 일반화 능력을 향상시킨다.
• 비활성화된 아키텍처 파라미터(α)에 대한 표준 L2 또는 웨이트 디케이 정규화의 한계를 극복한다. 이는 효과가 없거나 오히려 역효과를 낳을 수 있다.
• 기존 아키텍처나 학습 비용을 변경하지 않고도 활성화된 아키텍처 파라미터(β)에 직접 작용하는 단순하고 효과적이며 일반적인 정규화 방법을 개발한다.
• α가 아닌 β에 정규화를 적용할 경우 더 안정적이고 이식 가능한 아키텍처가 도출됨을 입증한다.

제안 방법

• 활성화된 아키텍처 파라미터 β에 대해 로그-합-지수 손실을 적용함으로써 베타 감쇠 정규화를 제안한다. 이는 𝒟β = log∑exp(αk)로 정의되며, β의 엔트로피와 분산을 정규화한다.
• 단 한 줄의 PyTorch 코드로 구현 가능하다: `torch.mean(torch.logsumexp(self.model._arch_parameters, dim=-1))`로 기존 DARTS 프레임워크에 쉽게 통합할 수 있다.
• 이론적 분석을 통해 베타 감쇠는 아키텍처 파라미터 공간의 리프시츠 상수를 최소화함으로써 일반화 능력을 향상시키고, 연산 간의 불공정한 경쟁을 완화함을 보여준다.
• 정규화 손실에 대해 선형 증가 가중치 계획을 도입함으로써 안정성을 향상시키고 하이퍼파ram터 λ에 대한 민감도를 감소시킨다.
• 모든 아키텍처 파라미터 또는 기준치에 대해 상대적으로 정규화하는 베타 글로벌 및 베타 제로 손실과 같은 변형을 탐색하여 접근의 일반성을 검증한다.
• 표준 DARTS와 SDARTS-RS 모두에 적용하여, 다양한 탐색 공간과 벤치마크(NAS-Bench-201, NAS-Bench-1Shot1)에서의 효과성을 입증한다.

실험 결과

연구 질문

• RQ1 활성화된 아키텍처 파라미터 β에 대한 명시적 정규화가 DARTS의 성능 붕괴에 대한 강건성을 향상시킬 수 있는가?
• RQ2 α에 대한 표준 L2 또는 웨이트 디케이 정규화와 비교해, β에 정규화를 적용할 경우 다양한 데이터셋 간에 검색된 아키텍처의 일반화 능력이 향상되는가?
• RQ3 정규화 위치(α 대비 β)의 선택이 디퍼런셜 NAS에서 최적화 안정성과 최종 성능에 어떤 영향을 미치는가?
• RQ4 베타 감쇠와 같은 단순하고 경량 정규화가 아키텍처 공간이나 학습 절차를 수정하지 않고도 최고 수준의 성능을 달성할 수 있는가?
• RQ5 제안된 방법은 λ와 같은 하이퍼파ram터에 얼마나 민감한가? 그리고 이 민감도는 적응형 가중치 계획을 통해 감소시킬 수 있는가?

주요 결과

• β-DARTS는 NAS-Bench-201에서 검색 과정을 크게 안정화시켰으며, 성능 악화 없이 일관된 수렴을 보였다.
• 단일 런 검색에서 CIFAR-10(97.55%)과 CIFAR-100(90.23%)에서 최고 수준의 정확도를 달성했으며, 표준 DARTS 및 기타 베이스라인을 모두 능가했다.
• NAS-Bench-1Shot1에서 β-SDARTS-RS는 세 가지 탐색 공간 모두에서 SDARTS-RS보다 더 낮은 검증 및 테스트 오차를 기록했으며, 최적 성능에 더 빠르게 수렴했다.
• 선형 증가 정규화 계수 계획은 하이퍼파aram터 λ에 대한 민감도를 감소시켜, 다양한 최대 가중치 값(예: NAS-Bench-201에서 25–100) 범위에서 안정적인 성능을 유지시켰다.
• 베타 글로벌 및 베타 제로 손실 변형도 성능 향상을 이끌었으며, 이는 β에 정규화를 적용하는 것이 정확한 구현 방식에 관계없이 효과적임을 확인한다. 특히 베타 글로벌은 더 뛰어난 안정성을 보였다.
• 이 방법은 강력한 이식성과 함께, 단일 데이터셋에서 학습된 모델이 ImageNet 및 기타 데이터셋으로도 잘 일반화됨을 보여주었다.