[논문 리뷰] Diverse mini-batch Active Learning

Fedor Zhdanov|arXiv (Cornell University)|2019. 01. 17.

Machine Learning and Algorithms참고 문헌 15인용 수 92

한 줄 요약

본 논문은 라벨링을 위한 다양하고 정보성이 높은 예제를 선택하기 위해 가중치가 부여된 K-means 클러스터링을 사용하여 정보성과 다양성을 결합한 확장 가능한 미니배치 활성 학습 방법을 제안합니다.

ABSTRACT

We study the problem of reducing the amount of labeled training data required to train supervised classification models. We approach it by leveraging Active Learning, through sequential selection of examples which benefit the model most. Selecting examples one by one is not practical for the amount of training examples required by the modern Deep Learning models. We consider the mini-batch Active Learning setting, where several examples are selected at once. We present an approach which takes into account both informativeness of the examples for the model, as well as the diversity of the examples in a mini-batch. By using the well studied K-means clustering algorithm, this approach scales better than the previously proposed approaches, and achieves comparable or better performance.

연구 동기 및 목표

• 감독 학습 모델을 학습시키는 데 필요한 라벨링 데이터를 줄이는 것.
• 심층 모델 재학습의 실무적 제약을 mini-batch 선택으로 다룬다.
• 배치 선택에서 정보성과 다양성을 모두 반영한다.
• K-means 클러스터링을 활용한 확장 가능한 솔루션을 제공한다.
• 다양한 모델과 텍스트 및 이미지 데이터 세트에서 효과를 시연한다.

제안 방법

• 배치 선택을 다양성 향상을 위한 시설 위치 문제로 공식화한다.
• 서브모듈러 방법보다 확장성을 달성하기 위해 K-means 클러스터링으로 근사화한다.
• 공식에서 정보성 점수를 가중치로 반영하는 weighted K-means 목적 함수에 도입한다.
• 정보성 척도로 마진 기반 불확실성을 사용한다.
• 효율성을 위해 라벨이 없는 예제들을 클러스터링 전에 부분집합으로 미리 필터링한다.
• 각 배치에서 클러스터 중심에 가장 가까운 k개의 예를 라벨링용으로 선택한다.

실험 결과

연구 질문

• RQ1 미니배치 선택에서 다양성과 정보성을 통합하는 것이 불확실성만을 이용한 기준선보다 학습 효율을 향상시키는가?
• RQ2 K-means 클러스터링이 활성 학습에서 다양성 인식 배치 선택의 확장 가능한 근사치를 제공할 수 있는가?
• RQ3 다양한 모델 구조를 가진 텍스트와 이미지 데이터셋에서 제안된 방법은 어떻게 작동하는가?
• RQ4 사전 필터링 매개변수 beta가 성능과 확장성에 미치는 영향은 무엇인가?
• RQ5 마진 기반 불확실성이 이 설정에서 엔트로피 기반 또는 다른 불확실성 측정치보다 더 효과적인가?

주요 결과

• 다양성 인식 미니배치 선택은 일반적으로 여러 데이터셋에서 불확실성 샘플링보다 우수한 성능을 보인다.
• 클러스터링 기반 방법은 부분모듈러 최적화 접근 방식보다 현저히 빠르면서도 유사하거나 더 나은 정확도를 달성한다.
• 정보성 점수를 활용한 가중 클러스터링이 여러 데이터셋에서 성능을 향상시킨다.
• 클러스터링을 통한 첫 배치 선택은 일부 데이터셋에서 초기 정확도를 높일 수 있다.
• CIFAR-10 결과는 다양성 기반 방법이 일반 불확실성보다 약간 더 우수하고, 가중 클러스터링이 종종 최선인 경향이 있다.
• 전반적으로 이 방법은 확장 가능하고 더 복잡한 기법과 경쟁력이 있으며 구현은 더 간단하다.