[논문 리뷰] Active Learning for Convolutional Neural Networks: A Core-Set Approach

Ozan Şener, Silvio Savarese|arXiv (Cornell University)|2017. 08. 01.

Machine Learning and Algorithms참고 문헌 50인용 수 683

한 줄 요약

CNN의 활성 학습을 코어세트 선택으로 정의하고, 그리디한 k-center 기반 방법이 강력한 이미지 분류 성능을 얻으며 배치 설정에서 베이스라인을 능가한다.

ABSTRACT

Convolutional neural networks (CNNs) have been successfully applied to many recognition and learning tasks using a universal recipe; training a deep model on a very large dataset of supervised examples. However, this approach is rather restrictive in practice since collecting a large set of labeled images is very expensive. One way to ease this problem is coming up with smart ways for choosing images to be labelled from a very large collection (ie. active learning). Our empirical study suggests that many of the active learning heuristics in the literature are not effective when applied to CNNs in batch setting. Inspired by these limitations, we define the problem of active learning as core-set selection, ie. choosing set of points such that a model learned over the selected subset is competitive for the remaining data points. We further present a theoretical result characterizing the performance of any selected subset using the geometry of the datapoints. As an active learning algorithm, we choose the subset which is expected to yield best result according to our characterization. Our experiments show that the proposed method significantly outperforms existing approaches in image classification experiments by a large margin.

연구 동기 및 목표

• 레이블링 비용으로 인해 대규모 CNN 학습 데이터셋의 라벨링이 얼마나 어려운지 동기 부여한다.
• CNN에서 배치 쿼리 문제를 다루기 위해 활성 학습을 코어세트 선택으로 재구성하자고 제안한다.
• 코어세트 손실과 데이터 기하를 연결하는 이론적 경계를 개발하고 이를 CNN에 대해 타당함을 증명한다.
• 레이블 정보를 사용하지 않고도 유정보 배치를 선택하는 효율적인 k-center 기반 알고리즘을 제안한다.
• 표준 이미지 데이터셋에서 기존 활성 학습 베이스라인에 비해 실증적으로 우월함을 입증한다.

제안 방법

• 레이블링되지 않은 데이터 풀과 라벨링 예산을 가진 활성 학습을 전체 데이터의 경험적 손실과 부분집합의 경험적 손실 사이의 코어세트 손실을 최소화하는 문제로 공식화한다.
• 선택된 부분집합의 커버링 반경으로 코어세트 손실이 상한을 가질 수 있음을 보여주는 Lipschitz 기반의 경계를 확립한다.
• 이 경계를 최소화하는 것이 k-Center(최소극대 시설 위치) 문제를 해결하는 것과 동등함을 보이고 효율성을 위해 그리디 2-OPT 접근법을 적용한다.
• 이상치 처리가 가능한 더 타이트한 경계를 얻기 위해 선택적으로 혼합정수 프로그래밍(MIP)을 풀어 견고성을 개선한다.
• 데이터 포인트 간 유사성 측정을 위해 최종 완전 연결층의 활성화 간의 L2 거리를 정의된 거리 메트릭으로 사용하고, 각 반복 후에 CNN(VGG-16)을 처음부터 학습시킨다.
• CIFAR 및 SVHN 데이터셋에 대해 완전 지도 학습과 약지도 학습(Ladder 네트워크) 설정 모두를 실험한다.

실험 결과

연구 질문

• RQ1 CNN에 대한 활성 학습을 효과적으로 코어세트 선택 문제로 공식화할 수 있는가?
• RQ2 배치 기반의 k-center 기반 획득 전략이 CNN용 불확실성 기반 배치 활성 학습 방법보다 우수한가?
• RQ3 코어세트 손실, 데이터 기하학 및 CNN 학습 성능 간의 이론적 관계는 무엇인가?
• RQ4 표준 비전 데이터셋에서 제안된 방법은 완전 지도 학습 대 약지도 학습에서 어떻게 성능을 발휘하는가?

주요 결과

• 코어세트 형식은 전체 데이터 손실과 부분집합 손실을 비교하는 경계를 이끌어내며 이 경계는 커버링 반경과 샘플 크기에 의존한다.
• 코어세트 경계를 최소화하는 것이 k-Center 문제와 동등하며, 이에 대한 그리디 2-OPT 해법이 효율적인 근사치를 제공한다.
• 실험 결과는 최첨단 성능을 보여주며 제안된 방법이 이미지 분류 실험에서 기존 베이스라인보다 크게 우수함을 보여준다.
• 이 방법은 완전 지도와 약지도 설정 모두에서 효과적이며, 약지도 경우 더 나은 특징 기하로 인해 더 큰 이득이 관찰된다.
• 배치 모드 불확실성 기반 베이스라인들(BMDR, 엔트로피 기반 방법)은 CNN에서 코어세트 접근법에 비해 성능이 떨어지며, 배치 선택에서 샘플 간 상관의 영향을 강조한다.