[논문 리뷰] Deep Active Learning by Leveraging Training Dynamics

Haonan Wang, Wei Huang외 4명|arXiv (Cornell University)|2021. 10. 16.

Machine Learning and Algorithms참고 문헌 54인용 수 8

한 줄 요약

이 논문은 훈련 동역학(최적화 단계에 대한 손실 함수의 도함수로 정의됨)을 최대화하는 샘플을 선택함으로써 일반화 성능을 향상시키는 이론 기반의 딥 액티브 러닝 방법인 dynamicAL을 제안한다. 신경 탄성 커널(Neural Tangent Kernel, NTK) 이론을 활용하여 빠른 수렴과 더 나은 일반화 사이에 정적 상관관계를 설정하고, 의사 레이블링과 부분집합 근사 기법을 통해 대규모 모델로의 효율적 확장이 가능하게 하였다. 이는 ResNet, VGG, CNN 아키텍처를 사용한 CIFAR10, SVHN, Caltech101 데이터셋에서 기존의 베이스라인들을 능가하는 성능을 보였다.

ABSTRACT

Active learning theories and methods have been extensively studied in classical statistical learning settings. However, deep active learning, i.e., active learning with deep learning models, is usually based on empirical criteria without solid theoretical justification, thus suffering from heavy doubts when some of those fail to provide benefits in real applications. In this paper, by exploring the connection between the generalization performance and the training dynamics, we propose a theory-driven deep active learning method (dynamicAL) which selects samples to maximize training dynamics. In particular, we prove that the convergence speed of training and the generalization performance are positively correlated under the ultra-wide condition and show that maximizing the training dynamics leads to better generalization performance. Furthermore, to scale up to large deep neural networks and data sets, we introduce two relaxations for the subset selection problem and reduce the time complexity from polynomial to constant. Empirical results show that dynamicAL not only outperforms the other baselines consistently but also scales well on large deep learning models. We hope our work would inspire more attempts on bridging the theoretical findings of deep networks and practical impacts of deep active learning in real applications.

연구 동기 및 목표

• 기존의 딥 액티브 러닝 방법들이 종종 경험적 히우리스틱에 의존하는 데 반해 이론적 근거가 부족한 문제를 해결하기 위해.
• 과도하게 파rameter화된 딥 네트워크에서 훈련 동역학(수렴 속도)과 일반화 성능 사이의 이론적 연결 고리를 확립하기 위해.
• 최소한의 레이블링으로도 성능 향상을 이룰 수 있도록 훈련 동역학을 최대화하는 확장 가능한 실용적인 액티브 러닝 방법을 설계하기 위해.
• i.i.d. 가정이 완화된 상황에서도 NTK 영역에서의 이론적 통찰을 실제 액티브 러닝 환경으로 확장하기 위해.
• 훈련 동역학을 최대화함으로써 일반화 오차가 감소하고 다양한 데이터셋 및 아키텍처에서 성능 향상이 이루어지는지 입증하기 위해.

제안 방법

• 모델 수렴의 대체 지표로 훈련 손실 함수의 최적화 단계에 대한 도함수로 정의된 훈련 동역학을 도입한다.
• 초광역 NTK 조건 하에서 더 빠른 수렴이 더 나은 일반화 성능과 정적 상관관계를 가진다는 것을 이론적으로 증명한다.
• 훈련 동역학을 최대화하도록 비라벨 데이터 샘플을 선택하는 dynamicAL이라는 액티브 러닝 방법을 제안한다. 이는 일반화 성능 향상을 목표로 한다.
• 서브셋 선택 복잡도를 O(N^b)에서 O(b)로 줄이기 위해 의사 레이블링과 부분집합 근사 기법을 도입함으로써 확장성을 확보한다.
• NTK 공간에 대한 레이블 벡터의 투영을 측정하는 새로운 지표인 Alignment를 정의한다. 이는 훈련 동역학과 일반화 성능에 정적 상관관계를 가진다.
• i.i.d. 가정을 초월한 분석을 위해 최대 평균 차이(MMD)를 사용하여 이론적 분석을 확장함으로써 비i.i.d. 환경에서도 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 과도하게 파rameter화된 딥 네트워크에서 훈련 동역학(수렴 속도)과 일반화 성능 사이에 이론적 연결 고리가 존재하는가?
• RQ2 훈련 동역학을 최대화함으로써 액티브 러닝 환경에서 일반화 성능 향상이 달성될 수 있는가?
• RQ3 dynamicAL의 서브셋 선택 문제는 높은 계산 비용 없이 대규모 환경에서 효율적으로 근사될 수 있는가?
• RQ4 데이터 분포의 i.i.d. 가정이 위반될 경우에도 제안된 방법이 여전히 효과적인가?
• RQ5 NTK 영역에서의 이론적 통찰은 표준 아키텍처를 사용한 실제 딥 액티브 러닝에 실용적으로 적용될 수 있는가?

주요 결과

• dynamicAL은 CIFAR10, SVHN, Caltech101 등 모든 데이터셋과 아키텍처에서 랜덤 선택 및 코어셋 베이스라인을 일관되게 능가한다.
• 배치 크기가 500인 ResNet을 사용한 CIFAR10에서, dynamicAL은 라운드 9에 60.35%의 정확도를 기록했으며, 코어셋은 59.62%, 랜덤 선택은 58.08%였다.
• VGG를 사용한 SVHN에서 dynamicAL은 라운드 9에 86.57%의 정확도를 달성했고, 코어셋(85.62%)과 랜덤 선택(85.75%)을 모두 초월했다.
• ResNet18와 b=500, r=15 조건에서 Caltech101에서 대규모 쿼리 라운드 실험을 수행한 결과, 모든 이미지가 최종적으로 사용되더라도 dynamicAL은 베이스라인들에 비해 일관된 우월성을 유지했다.
• 서브셋 근사 방법은 서브셋 선택 문제의 전역 최적해에 매우 가까운 근사를 제공하며, 이는 그 효과성을 검증한다.
• 이론적 분석 결과, 높은 Alignment(레이블 벡터가 NTK 공간에 투영된 정도)는 더 빠른 수렴과 더 낮은 일반화 오차와 정적 상관관계를 가지며, 이는 본 방법의 설계 철학을 뒷받침한다.