[논문 리뷰] Theory-Inspired Path-Regularized Differential Network Architecture Search

Pan Zhou, Caiming Xiong외 2명|arXiv (Cornell University)|2020. 06. 30.

Machine Learning and ELM참고 문헌 38인용 수 23

한 줄 요약

이 논문은 경로 정규화된 DARTS(이하 PR-DARTS)를 제안하며, 이는 이종화된 신경망 아키텍처 탐색(DARTS)에서 스킵 커넥션의 지배를 이론에 기반한 방법으로 해결한다. 스킵 커넥션의 최적화 수렴 속도가 빠르다는 이론적 증명을 바탕으로, PR-DARTS는 그룹 구조를 가진 희소 게이트와 경로 깊이 기반 정규화를 도입하여 공정한 운영 경쟁과 복잡한 깊은 아키텍처에서의 탐색을 향상시킨다. 이를 통해 이미지 분류 벤치마크에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Despite its high search efficiency, differential architecture search (DARTS) often selects network architectures with dominated skip connections which lead to performance degradation. However, theoretical understandings on this issue remain absent, hindering the development of more advanced methods in a principled way. In this work, we solve this problem by theoretically analyzing the effects of various types of operations, e.g. convolution, skip connection and zero operation, to the network optimization. We prove that the architectures with more skip connections can converge faster than the other candidates, and thus are selected by DARTS. This result, for the first time, theoretically and explicitly reveals the impact of skip connections to fast network optimization and its competitive advantage over other types of operations in DARTS. Then we propose a theory-inspired path-regularized DARTS that consists of two key modules: (i) a differential group-structured sparse binary gate introduced for each operation to avoid unfair competition among operations, and (ii) a path-depth-wise regularization used to incite search exploration for deep architectures that often converge slower than shallow ones as shown in our theory and are not well explored during the search. Experimental results on image classification tasks validate its advantages.

연구 동기 및 목표

• DARTS가 최적화 과정에서 스킵 커넥션이 수렴 속도가 빠르기 때문에 이를 선호하는 이유를 이론적으로 설명하는 것.
• DARTS에서 스킵 커넥션과 다른 연산 간의 불공정한 경쟁이 하위 최적 아키텍처를 초래하므로 이를 해결하는 것.
• 복잡한 경로의 탐색을 향상시켜 깊은 아키텍처에서 검색 효율성과 정확도를 향상시키는 것.
• 스킵 커넥션의 지배를 피하고 최신 기술 수준의 성능을 달성하는 원칙적인, 이론에 기반한 DARTS의 대안을 개발하는 것.

제안 방법

• 스킵 및 비스킵 커넥션 그룹에 대해 독립적인 희소성 정규화를 적용하는 베르누이 분포를 사용한 그룹 구조를 가진 희소 이진 게이트를 도입하여 연산 사용을 제어한다.
• 게이트 파라미터의 희소성을 강제하기 위해 하드 스위치 함수를 적용하여 다양한 연산 유형 간의 불공정한 경쟁을 감소시킨다.
• 얕은 셀에 대한 편향을 줄이기 위해 경로 깊이 기반 정규화를 구현하며, 이는 표준 DARTS에서 빠르게 수렴하는 얕은 경로가 과도하게 선택되는 것을 방지한다.
• 검색 손실에 기반한 기울기 하강법을 통해 아키텍처 파라미터를 업데이트하는 미분 가능 검색 프레임워크를 사용하며, 연산 선택 균형을 맞추기 위해 수정된 목표 함수를 적용한다.
• 리프시츠 및 미끄러움 조건 하에서 수렴 속도 분석을 통해 스킵 커넥션이 최적화 속도에 미치는 영향을 정당화하는 이론적 분석을 수행한다.
• 두 정규화 요소를 통합된 PR-DARTS 프레임워크에서 함께 적용하여 연산 경쟁과 깊이 편향 문제를 동시에 해결한다.

실험 결과

연구 질문

• RQ1 스킵 커넥션이 성능에 악영향을 미치는데도 불구하고 DARTS에서 왜 지배적인가?
• RQ2 스킵 커넥션과 다른 연산이 존재할 경우 DARTS의 수렴 속도는 어떻게 달라지는가?
• RQ3 이론 기반 정규화 전략을 통해 이종화된 NAS에서 다양한 연산 유형 간의 공정한 경쟁을 어떻게 균형 잡을 수 있는가?
• RQ4 깊은 아키텍처에서 얕은 경로가 더 빨리 수렴하므로 경로 깊이 기반 정규화가 탐색 탐색을 어떻게 향상시킬 수 있는가?
• RQ5 스킵 커넥션의 지배를 제거하면서도 높은 검색 효율성을 유지하면서 더 나은 성능을 달성할 수 있는가?

주요 결과

• 이론적 분석을 통해 스킵 커넥션의 구조적 특성으로 인해 DARTS에서 수렴 속도가 빨라지므로, 이로 인해 지배적인 위치를 차지한다는 것을 증명한다.
• PR-DARTS는 표준 DARTS 대비 검색된 아키텍처에서 스킵 커넥션 비율을 감소시켜 더 우수한 일반화 성능을 달성한다.
• 그룹 구조를 가진 희소 게이트는 독립적인 희소성 정규화를 통해 다양한 연산 유형 간의 불공정한 경쟁을 효과적으로 완화한다.
• 경로 깊이 기반 정규화는 얕은 셀에 대한 편향을 성공적으로 줄여 깊은 경로 탐색을 향상시킨다.
• PR-DARTS는 이미지 분류 벤치마크에서 표준 DARTS 및 이전 방법들을 능가하는 최신 기술 수준의 정확도를 달성한다.
• 실험 결과는 PR-DARTS가 더 높은 다양성과 성능을 가진 아키텍처를 생성하면서도 높은 검색 효율성을 유지함을 검증한다.