[논문 리뷰] Deep Active Learning with a Neural Architecture Search

Yonatan Geifman, Ran El‐Yaniv|arXiv (Cornell University)|2018. 11. 19.

Machine Learning and Algorithms참고 문헌 28인용 수 23

한 줄 요약

이 논문은 깊이 있는 활성 학습 프레임워크인 active-iNAS를 제안한다. 이는 점진적인 신경망 아키텍처 탐색(iNAS)을 사용해 활성 학습 과정 중에 최적의 신경망 아키텍처를 동적으로 탐색한다. 데이터 가용성에 따라 아키텍처 용량을 점진적으로 조정함으로써, active-iNAS는 여러 데이터셋과 질의 전략에서 고정된 아키텍처를 사용하는 기존 방법보다 뚜렷이 뛰어난 성능을 보이며, 특히 소프트맥스 반응과 결합한 active-iNAS가 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We consider active learning of deep neural networks. Most active learning works in this context have focused on studying effective querying mechanisms and assumed that an appropriate network architecture is a priori known for the problem at hand. We challenge this assumption and propose a novel active strategy whereby the learning algorithm searches for effective architectures on the fly, while actively learning. We apply our strategy using three known querying techniques (softmax response, MC-dropout, and coresets) and show that the proposed approach overwhelmingly outperforms active learning using fixed architectures.

연구 동기 및 목표

• 기존의 깊이 있는 활성 학습 방법이 사전에 지정된 고정된 신경망 아키텍처에 의존하는 한계를 해결하기 위해, 초기 학습 단계에서 잘 일반화되지 않을 수 있는 아키텍처의 문제를 해결한다.
• 활성 학습 중에 동적으로 신경망 아키텍처를 최적화하는 것이 모델의 일반화 능력과 질의 효율성을 향상시킬 수 있는지 조사한다.
• 과도한 피팅을 방지하기 위해, 레이블이 적은 데이터 세트에서 데이터 기반의 단조적 방식으로 아키텍처 용량을 점진적으로 증가시키는 방법을 개발한다.
• 아키텍처 최적화가 활성 학습에서 불확실성 기반 질의 함수의 품질에 미치는 영향을 평가한다.
• active-iNAS가 다양한 데이터셋과 질의 전략에서 표준 활성 학습의 고정 아키텍처보다 일관되게 뛰어나다는 것을 입증한다.

제안 방법

• 각 활성 학습 라운드 동안 단조적이고 단계적인 방식으로 더 나은 아키텍처를 탐색하는 점진적 신경망 아키텍처 탐색(iNAS)을 제안한다.
• 깊이와 너비를 제어할 수 있는 가변적인 ResNet 블록 스택으로 구성된 유연한 아키텍처 패밀리를 사용한다.
• 세 가지 표준 질의 전략인 소프트맥스 반응, MC-dropout, 코어셋 기반의 불확실성 추정과 iNAS를 통합한다.
• 유사한 모델을 사용한 피벗 기반 베이스라인과의 공정한 비교를 위해 AUC-GAIN 기반 정규화 기법을 적용한다.
• 최소 용량에서 시작하여 성능 향상이 관찰될 경우에만 성장하는 동적 아키텍처 선택 과정을 구현한다.
• 최적화된 아키텍처 하에서 다양한 질의 함수의 효과를 평가하고 비교하기 위해 상대적 AUC-GAIN 지표를 사용한다.

실험 결과

연구 질문

• RQ1 활성 학습 중에 동적 신경망 아키텍처 탐색이 모델의 일반화 능력 향상과 샘플 복잡도 감소에 기여할 수 있는가?
• RQ2 불확실성 기반 질의 함수의 성능은 기반 모델 아키텍처에 의존하는가? 그리고 아키텍처 최적화를 통해 향상시킬 수 있는가?
• RQ3 아키텍처 선택이 이미지 분류에 대한 활성 학습의 학습 곡선과 질의 효율성에 미치는 영향은 어떠한가?
• RQ4 단조적이고 점진적인 아키텍처 탐색 전략이 레이블이 적은 초기 활성 학습 단계에서 과도한 피팅을 방지할 수 있는가?
• RQ5 다양한 데이터셋에서 특정 질의 함수와 active-iNAS를 조합했을 때 일관된 성능 향상이 나타나는가?

주요 결과

• active-iNAS는 모든 세 데이터셋(CIFAR-10, CIFAR-100, SVHN)에서 표준 고정 아키텍처 활성 학습보다 일관되게 뛰어난 성능을 보였다.
• active-iNAS와 소프트맥스 반응을 조합한 경우가 모든 데이터셋에서 MC-dropout 및 코어셋 기반 방법을 모두 능가하는 최고의 성능을 기록했다.
• CIFAR-100에서는 MC-dropout가 뚜렷하게 성능이 열 劣하므로, 클래스 수가 많고 불확실성 추정에 어려움이 있는 데 기인할 수 있다.
• SVHN과 CIFAR-10에서는 활성 학습이 더 넓지만 얕은 아키텍처를 선호하는 반면, CIFAR-100에서는 더 깊은 아키텍처를 선호하여 데이터셋의 복잡도에 따라 반영된다.
• AUC-GAIN 분석 결과, 모델 일반화 능력 향상이 질의 함수의 효과성 향상과 직접적으로 연결됨을 확인하여 아키텍처 최적화와 활성 학습 간의 상호보완적 관계를 검증했다.
• iNAS 과정은 랜덤 시드에 관계없이 안정적이며, 동일한 학습 조건에서 일관된 아키텍처 진전 패턴을 보였다.