[논문 리뷰] Stabilizing DARTS with Amended Gradient Estimation on Architectural Parameters

Kaifeng Bi, Changping Hu외 4명|arXiv (Cornell University)|2019. 10. 25.

Advanced Neural Network Applications참고 문헌 46인용 수 45

한 줄 요약

이 논문은 건축 파라미터에 대한 그래디언트 추정 보정을 통해 DARTS의 불안정성을 수정하고, 탐색-재학습 간의 간격을 줄이며 안정적인 결과를 가진 더 큰 탐색 공간을 가능하게 한다.

ABSTRACT

DARTS is a popular algorithm for neural architecture search (NAS). Despite its great advantage in search efficiency, DARTS often suffers weak stability, which reflects in the large variation among individual trials as well as the sensitivity to the hyper-parameters of the search process. This paper owes such instability to an optimization gap between the super-network and its sub-networks, namely, improving the validation accuracy of the super-network does not necessarily lead to a higher expectation on the performance of the sampled sub-networks. Then, we point out that the gap is due to the inaccurate estimation of the architectural gradients, based on which we propose an amended estimation method. Mathematically, our method guarantees a bounded error from the true gradients while the original estimation does not. Our approach bridges the gap from two aspects, namely, amending the estimation on the architectural gradients, and unifying the hyper-parameter settings in the search and re-training stages. Experiments on CIFAR10 and ImageNet demonstrate that our approach largely improves search stability and, more importantly, enables DARTS-based approaches to explore much larger search spaces that have not been investigated before.

연구 동기 및 목표

• differentiable NAS(DARTS)에서의 불안정성 원인 및 초네트워크의 검증과 하위 네트워크 성능 간의 차이를 식별합니다.
• 건축 파라미터의 보정된 그래디언트 추정을 제안하여 오차가 한정되고 안정성이 향상되도록 합니다.
• 탐색과 재학습 하이퍼파라미터를 일치시켜 불안정성을 더 줄입니다.
• CIFAR-10 및 ImageNet에서 더 큰 탐색 공간으로 안정성과 성능 향상을 보여줍니다.

제안 방법

• 건축 파라미터에 대한 그래디언트를 도출하고 표준 DARTS 그래디언트(g2)에서 잘못된 2차 항을 식별합니다.
• 문제의 역해시(Hessian) 기반 항을 보정된 근사 g2'로 교체합니다. 이때 해시(H)와 보정 계수 eta로 스케일링하여 g2와 g2' 사이의 각도가 비정계가 되지 않도록 보장합니다.
• 보정된 항이 실제 그래디언트에 대해 유계 오차를 생성함을 보입니다(각도 <= 90도).
• 이차 DARTS 계산에 따라 g1(표준)과 g2'를 결합하여 최종 건축 그래디언트를 계산합니다.
• 탐색과 재학습 간의 일관된 하이퍼파라미터 설정을 포함하여 CIFAR-10 및 ImageNet에서 실험합니다.

실험 결과

연구 질문

• RQ1 보정된 건축 그래디언트 추정이 DARTS에서 슈퍼 네트워크와 하위 네트워크 간의 최적화 간격을 줄이나요?
• RQ2 오차 한정된 보정 그래디언트 항이 탐색의 안정을 가져오고 더 크고 복잡한 NAS 공간을 가능하게 하나요?
• RQ3 통합된 탐색-재학습 하이퍼파라미터가 최종 구조의 안정성과 품질에 어떤 영향을 미치나요?
• RQ4 개정된 그래디언트 접근법을 적용했을 때 CIFAR-10 및 ImageNet의 실증 이익은 무엇인가요?

주요 결과

구조	테스트 오차	매개변수 수	#P
Random Search †	3.29	3.2	-
DARTS (first-order)	6.18	1.4	0
DARTS (second-order)	5.15	1.5	0
P-DARTS	5.38	1.5	0
PC-DARTS	3.15	2.4	3
우리의 접근법	2.71	3.3	7
보정 항 없음	3.15	3.9	6
일관성 없음	3.08	3.3	5

• 건축 그래디언트(g2')의 보정은 표준 DARTS보다 더 안정적인 탐색 동작을 초래하고 탐색 중 검증 정확도를 91.5%로 향상시킵니다(CIFAR-10에서 첫 번째 차수는 90.5%, 두 번째 차수 DARTS는 91.0%).
• eta = 0.1일 때 이 방법은 모든 스킵 연결로의 악화를 방지하고 수렴 후 경쟁력 있는 최종 구조를 제공합니다.
• DARTS 변형 및 PC-DARTS와 비교했을 때 보정된 접근은 CIFAR-10의 테스트 오차를 더 낮추며(Amended-DARTS S1 2.71%; Amended-DARTS S2 고정 에지 2.60%; Amended-DARTS S2 탐색 에지 2.63%), 첫 번째 차수 DARTS는 6.18%, 두 번째 차수는 5.15%입니다).
• 더 크고 더 복잡한 탐색 공간(S2)을 고정 에지로 사용하면 CIFAR-10 오차가 더 낮아져 두 변형에서 각각 2.60%와 2.63%로 감소하고 ImageNet으로의 전달 시 더 큰 이득이 나타납니다.
• 오랜 탐색 실행(최대 500 에폭)에서도 안정성과 경쟁력 있는 정확도를 보여주며, 큰 공간(S2에서 1.9e93개의 아키텍처 탐색)도 가능하게 합니다.
• 소실 연구는 보정 항을 제거하거나 일관성 없는 하이퍼파라미터를 사용하면 성능이 저하됨을 보여줍니다(예: 보정 항 미적용 시 오차 3.15%; 일관성 없을 때 3.08%).