[논문 리뷰] BETANAS: BalancEd TrAining and selective drop for Neural Architecture Search

Muyuan Fang, Qiang Wang외 1명|arXiv (Cornell University)|2019. 12. 24.

Advanced Neural Network Applications참고 문헌 29인용 수 12

한 줄 요약

BETANAS는 가중치 공유 슈퍼넷 훈련에서 성능 평가의 공정성과 기울기 갈등을 줄이기 위해 균형 잡힌 훈련과 선택적 경로 제거를 결합한 새로운 신경망 아키텍처 탐색 방법을 제안한다. 높은 성능을 보이는 경로를 일관되게 훈련하고 낮은 성능을 보이는 경로를 점진적으로 제거함으로써 BETANAS는 모바일 설정에서 ImageNet에서 79.0%의 상위-1 정확도를 달성하여 이전 최고 성능 방법들보다 정확도와 효율성 면에서 뛰어나다.

ABSTRACT

Automatic neural architecture search techniques are becoming increasingly important in machine learning area. Especially, weight sharing methods have shown remarkable potentials on searching good network architectures with few computational resources. However, existing weight sharing methods mainly suffer limitations on searching strategies: these methods either uniformly train all network paths to convergence which introduces conflicts between branches and wastes a large amount of computation on unpromising candidates, or selectively train branches with different frequency which leads to unfair evaluation and comparison among paths. To address these issues, we propose a novel neural architecture search method with balanced training strategy to ensure fair comparisons and a selective drop mechanism to reduce conflicts among candidate paths. The experimental results show that our proposed method can achieve a leading performance of 79.0% on ImageNet under mobile settings, which outperforms other state-of-the-art methods in both accuracy and efficiency.

연구 동기 및 목표

• 가중치 공유 NAS에서 하위 네트워크 경로 간 훈련 빈도의 불균형을 해결하여 편향된 성능 평가를 방지하기 위해.
• 훈련 중에 성능이 떨어지는 경로를 선택적으로 제거하여 슈퍼넷 내 경로 간 기울기 갈등을 줄이기 위해.
• 다양한 훈련 및 일회성 NAS 방법의 장점을 균형 있게 유지하면서도 공정한 비교를 확보하고 훈련 효율성을 유지하기 위해.
• 성능에 기반한 동적 경로 프루닝을 통해 비순위 경로를 제거함으로써 탐색 효율성과 최종 아키텍처의 정확도를 향상시키기 위해.

제안 방법

• 모든 남아 있는 경로가 유사한 빈도로 훈련되도록 보장하는 균형 잡힌 훈련 전략을 도입하여 공정한 성능 비교를 가능하게 한다.
• 평균 대비 현저히 낮은 성능을 보이는 경로를 점진적으로 제거하여 기울기 간섭을 줄이는 선택적 제거 메커니즘을 활용한다.
• 두 단계 최적화 전략을 사용한다: 훈련(최적화)과 아키텍처 탐색(평가)에 별도의 정책을 적용하여 경로 선택을 훈련 동역학에서 분리한다.
• 성능 기반 프루닝 기준을 적용하여 그룹 평균 대비 지속적으로 열등한 성능을 보이는 경로만 제거함으로써 잠재적으로 유용한 아키텍처를 보존한다.
• 모든 후보 경로에 공유된 가중치를 가진 슈퍼넷을 유지하지만, 계산 오버헤드를 줄이기 위해 하위 네트워크를 선택적으로 훈련하고 평가한다.
• 기울기 기반 아키텍처 탐색과 기저선 경로 샘플링 전략을 활용하여 훈련 효율성과 메모리 사용량을 향상시킨다.

실험 결과

연구 질문

• RQ1 가중치 공유 슈퍼넷에서 신경망 아키텍처 탐색 중 하위 네트워크의 성능 평가를 공정하고 편향 없이 보장할 수 있는 방법은 무엇인가?
• RQ2 탐색 효율성을 훼손하지 않으면서 슈퍼넷 내 경쟁 경로 간 기울기 갈등을 줄일 수 있는 전략은 무엇인가?
• RQ3 균형 잡힌 훈련과 선택적 경로 제거를 조합한 하이브리드 접근 방식이 기존의 일회성 및 번갈아가며 훈련하는 NAS 방법보다 정확도와 효율성 면에서 뛰어나게 성능을 높일 수 있는가?
• RQ4 상대적 성능 기반 경로 프루닝이 최종 아키텍처 품질과 훈련 안정성 향상에 어느 정도 기여하는가?

주요 결과

• BETANAS는 모바일 설정에서 ImageNet에서 79.0%의 최신 최고 성능 상위-1 정확도를 달성하여 기존 방법들을 정확도와 효율성 면에서 모두 능가한다.
• 모든 경로의 완전한 수렴 훈련 대비 탐색 중 계산 비용을 줄였지만 뛰어난 성능을 유지함을 실험적으로 입증하였다.
• 실험 결과, 브랜치 수가 적은 네트워크(B2)가 더 빠르게 수렴하고 독립적으로 훈련된 네트워크(NS)와 유사한 순위를 보이며, 브랜치 수가 많은 네트워크(B4)보다 성능이 뛰어나 경로 간섭 감소의 이점을 확인하였다.
• 선택적 제거 메커니즘이 경로 간 상호 간섭을 효과적으로 줄임을 실험적으로 입증하였으며, 분석 결과 수렴 성능과 성능 안정성이 향상됨을 확인하였다.
• 균형 잡힌 훈련 전략은 대안적 훈련 방법에서 관찰된 매튜 효과를 완화하여 후보 경로 간 성능 순위가 더 공정하게 유지됨을 보여주었다.
• 시각화 분석 결과, 특히 자원 제약 조건 하에서 경쟁 방법들보다 더 정확하고 효율적인 아키텍처를 제안하는 것으로 확인되었다.