[논문 리뷰] Diffusion-based Deep Active Learning

Dan Kushnir, Luca Venturi|arXiv (Cornell University)|2020. 03. 23.

Machine Learning and Algorithms참고 문헌 33인용 수 8

한 줄 요약

이 논문은 깊이 신경망 표현에서 구성된 그래프 위에 레이블을 확산시켜 탐색에서 정련으로 동적으로 전환하는 확산 기반 활성 학습 기준을 제안한다. MNIST, CIFAR10, SVHN에서 기존 방법보다 정확도와 안정성에서 뛰어나며, 특히 초기 탐색 단계와 전이 단계에서 두각을 나타낸다. 이는 데이터의 내재 기하학을 포착하고 재학습 없이도 빠르고 스케일링 가능한 배치 질의를 가능하게 하기 때문이다.

ABSTRACT

The remarkable performance of deep neural networks depends on the availability of massive labeled data. To alleviate the load of data annotation, active deep learning aims to select a minimal set of training points to be labelled which yields maximal model accuracy. Most existing approaches implement either an `exploration'-type selection criterion, which aims at exploring the joint distribution of data and labels, or a `refinement'-type criterion which aims at localizing the detected decision boundaries. We propose a versatile and efficient criterion that automatically switches from exploration to refinement when the distribution has been sufficiently mapped. Our criterion relies on a process of diffusing the existing label information over a graph constructed from the hidden representation of the data set as provided by the neural network. This graph representation captures the intrinsic geometry of the approximated labeling function. The diffusion-based criterion is shown to be advantageous as it outperforms existing criteria for deep active learning.

연구 동기 및 목표

• 활성 학습을 통해 레이블 데이터 요구량을 최소화하여 딥 러닝의 높은 레이블링 비용 문제를 해결한다.
• 기존 활성 학습 방법이 탐색 또는 정련에만 집중하여 최적 성능을 내지 못하는 한계를 극복한다.
• 데이터 분포 탐색에서 결정 경계 정련으로 자연스럽게 전이되는 단일 적응 기준을 개발한다.
• 모델 재학습 없이도 빠르고 스케일링 가능한 배치 질의를 가능하게 하여 딥 활성 학습의 계산 오버헤드를 줄인다.
• 다양한 무작위 초기화 및 노이즈 설정에서 모델 성능의 강건성과 분산 감소를 향상시킨다.

제안 방법

• 딥 신경망의 은닉층 표현에서 k-최근접 이웃 그래프를 구성하여 데이터의 내재 기하학을 포착한다.
• 희소 행렬-벡터 곱을 사용해 그래프 구조를 따라 알려진 레이블을 반복적으로 전파함으로써 그래프 위에 레이블 확산을 적용한다.
• 최종적으로 확산된 레이블 점수를 질의 기준으로 사용하여 정보량이 많은 샘플을 선별한다.
• 배치 크기 B를 확보하기 위해 확산된 불확실성 또는 신뢰도 기반으로 샘플을 정렬함으로써 효율적이고 다양한 배치 확보를 가능하게 한다.
• 레이블 확산이 선형 시간 복잡도로 실행되며 몇 차례 반복만으로도 가능하므로 스케일링 가능하고 대규모 데이터셋에 적합하다는 점을 활용한다.
• 모델 재학습 없이도 표준 딥 활성 학습 파이프라인에 확산 기반 질의 전략을 통합한다.

실험 결과

연구 질문

• RQ1 재학습 없이 별도의 최적화 또는 전환 메커니즘 없이도 단일 활성 학습 기준이 딥 러닝에서 탐색과 정련을 효과적으로 균형 잡을 수 있는가?
• RQ2 딥 표현에서 구성된 그래프 위에 레이블을 확산하는 방식이 불확실성 기반 또는 기하학 기반 기준과 비교해 정확도와 안정성 측면에서 어떻게 성능을 내는가?
• RQ3 그래프 기반 표현이 레이블 함수의 내재 기하학을 포착함으로써 성능 향상에 어느 정도 기여하는가?
• RQ4 확산 기반 방법은 특히 배치 질의 시나리오에서 최소한의 계산 오버헤드로 뛰어난 성능을 달성할 수 있는가?
• RQ5 이 방법은 다양한 데이터셋과 네트워크 아키텍처에서 초기 단계 탐색과 후기 단계 정련에서 어떻게 성능를 내는가?

주요 결과

• MNIST, CIFAR10, SVHN에서 초기 탐색 단계와 전이 단계에서 확산 기반 기준이 불확실성 기반, 마진 기반, 코어셋 방법보다 뚜렷하게 뛰어난 성능을 보였다.
• 완전 연결 네트워크를 사용한 MNIST에서는 확산 방법이 초기 레이블링 단계에서 모든 기준보다 높은 정확도를 달성했다.
• 미리 학습된 VGG-16을 사용한 CIFAR10과 SVHN에서는 확산 기반 방법이 정련 단계 전체 동안 뛰어난 정확도를 유지했으며, 베이지안 드롭아웃 및 불확실성 기반 기준을 모두 능가했다.
• 다양한 랜덤 런에 걸쳐 가장 낮은 분산을 보이며 초기화 및 노이즈 설정에 대한 높은 강건성을 입증했다.
• 그래프 표현은 데이터를 노이즈 제거하여 주변 공간 기하학에 의존하는 방법보다 외곽선에 덜 민감하고 일반화 능력이 향상되었다.
• 레이블 확산 과정은 선형 시간 복잡도를 가지며, 각 질의 단계에서 모델 재학습이 필요 없이 빠르고 스케일링 가능한 배치 선택을 가능하게 했다.