[논문 리뷰] A Geometric Approach to Active Learning for Convolutional Neural Networks

Ozan Şener, Silvio Savarese|arXiv (Cornell University)|2017. 08. 01.

Machine Learning and Algorithms참고 문헌 29인용 수 27

한 줄 요약

이 논문은 데이터 기하학을 활용해 가장 정보가 많은 샘플을 식별함으로써 활성 학습을 코어셋 선택 문제로 재정의하는 기하학적 활성 학습 방법을 제안한다. 데이터 다양체를 가장 잘 대표하는 이미지의 부분집합을 선택함으로써, 이 방법은 이미지 분류 작업에서 이전 히우리스틱보다 유의미하게 높은 성능을 달성한다.

ABSTRACT

Convolutional neural networks (CNNs) have been successfully applied to many recognition and learning tasks using a universal recipe; training a deep model on a very large dataset of supervised examples. However, this approach is rather restrictive in practice since collecting a large set of labeled images is very expensive. One way to ease this problem is coming up with smart ways for choosing images to be labelled from a very large collection (ie. active learning). Our empirical study suggests that many of the active learning heuristics in the literature are not effective when applied to CNNs in batch setting. Inspired by these limitations, we define the problem of active learning as core-set selection, ie. choosing set of points such that a model learned over the selected subset is competitive for the remaining data points. We further present a theoretical result characterizing the performance of any selected subset using the geometry of the datapoints. As an active learning algorithm, we choose the subset which is expected to yield best result according to our characterization. Our experiments show that the proposed method significantly outperforms existing approaches in image classification experiments by a large margin.

연구 동기 및 목표

• 딥 러닝에서 대규모 데이터셋의 레이블링 비용이 높다는 문제를 해결하기 위해 CNN에 대한 활성 학습을 향상시키는 것.
• 기존 활성 학습 히우리스틱이 배치 설정에서 CNN에 적용될 때 겪는 한계를 극복하는 것.
• 활성 학습을 코어셋 선택 문제로 재정의하여, 전체 데이터셋에서 경쟁적인 성능을 낼 수 있는 대표적인 부분집합을 선택하는 것을 목표로 하는 것.

제안 방법

• 이 방법은 활성 학습을 코어셋 선택 문제로 재정의하여, 전체 데이터셋에서 경쟁적인 성능을 낼 수 있는 데이터 포인트 부분집합을 선택하고자 한다.
• 데이터 포인트의 기하학적 구조에 기반한 부분집합 성능에 대한 이론적 특성화를 제안한다.
• 제안된 기하학적 특성화에 따라 예상 성능이 가장 높을 것으로 기대되는 부분집합을 선택하는 알고리즘을 도입한다.
• 데이터 다양체의 내재 기하학적 특성을 활용하여 대표성과 다양성을 극대화하는 샘플을 우선순위에 두는 방식이다.

실험 결과

연구 질문

• RQ1 데이터 포인트의 기하학적 성질을 활용해 CNN에서의 활성 학습 성능을 향상시킬 수 있는가?
• RQ2 기본적인 활성 학습 히우리스틱이 CNN의 배치 학습 설정에서 실패하는 이유는 무엇인가?
• RQ3 데이터 기하학을 활용해 코어셋 선택을 어떻게 수학적으로 정의할 수 있으며, 이를 통해 높은 모델 성능을 보장할 수 있는가?

주요 결과

• 제안된 기하학적 활성 학습 방법은 이미지 분류 벤치마크에서 기존 방법보다 유의미하게 뛰어난 성능을 보였다.
• 기존 활성 학습 히우리스틱보다 훨씬 적은 레이블이 필요한 샘플로도 뛰어난 성능을 달성하였다.
• 이론적 분석 결과, 부분집합 성능은 데이터 포인트의 기하학적 분포와 매우 밀접하게 연관되어 있음을 확인하였다.
• 실험 결과는 기하학적 인식 샘플링이 더 대표적이고 다양한 훈련 세트를 생성함을 확인하였다.