[논문 리뷰] Learning From Less Data: Diversified Subset Selection and Active Learning in Image Classification Tasks

Vishal Kaushal, Anurag Sahoo외 6명|arXiv (Cornell University)|2018. 05. 28.

Machine Learning and Algorithms참고 문헌 56인용 수 6

한 줄 요약

이 논문은 이미지 분류에서 데이터 효율성을 향상시키기 위해 다양성 기반 서브셋 선택—특히 Facility-Location 및 Disparity-Min 모델—을 제안한다. 대표적이고 중복되지 않은 훈련 서브셋을 선택함으로써, 이 방법은 훈련 데이터를 크게 줄이고도 모델 정확도를 2–3% 향상시키며, 활성 학습에서 레이블링 노력도 줄인다. 다양한 시각 작업에서 불확실성 샘플링과 무작위 선택보다 뛰어난 성능을 보인다.

ABSTRACT

Supervised machine learning based state-of-the-art computer vision techniques are in general data hungry and pose the challenges of not having adequate computing resources and of high costs involved in human labeling efforts. Training data subset selection and active learning techniques have been proposed as possible solutions to these challenges respectively. A special class of subset selection functions naturally model notions of diversity, coverage and representation and they can be used to eliminate redundancy and thus lend themselves well for training data subset selection. They can also help improve the efficiency of active learning in further reducing human labeling efforts by selecting a subset of the examples obtained using the conventional uncertainty sampling based techniques. In this work we empirically demonstrate the effectiveness of two diversity models, namely the Facility-Location and Disparity-Min models for training-data subset selection and reducing labeling effort. We do this for a variety of computer vision tasks including Gender Recognition, Scene Recognition and Object Recognition. Our results show that subset selection done in the right way can add 2-3% in accuracy on existing baselines, particularly in the case of less training data. This allows the training of complex machine learning models (like Convolutional Neural Networks) with much less training data while incurring minimal performance loss.

연구 동기 및 목표

• 딥 컨volution 네트워크를 훈련할 때 발생하는 높은 데이터 및 레이블링 비용 문제를 해결하기 위해 훈련 데이터 요구량을 줄이는 것.
• 다양성 있는 서브셋 선택을 통해 중복 레이블링을 최소화하여 활성 학습의 효율성을 향상시키는 것.
• 특히 훈련 데이터가 제한된 상황에서 다양성 인식 서브셋 선택이 모델 성능을 향상시킬 수 있음을 입증하는 것.
• 클래스 다양성 및 내부 클래스 유사도와 같은 데이터셋 특성에 따라 Facility-Location과 Disparity-Min 간의 선택 기준에 실질적인 통찰을 제공하는 것.

제안 방법

• 특성 공간의 커버리지를 극대화하기 위해 Facility-Location 함수를 활용해 다양하고 대표적인 훈련 샘플을 선택한다.
• 서로 다른 샘플 간의 쌍별 차이를 최소화하여 중복을 방지하기 위해 Disparity-Min 함수를 사용해 가장 상호 다각적인 샘플을 선택한다.
• 활성 학습 파이프라인에 둘 다의 서브셋 선택 방법을 불확실성 샘플링과 통합하여 레이블링 노력 감소를 도모한다.
• 서브모듈라리티 성질을 활용해 계산 가능성을 확보하기 위해 게으른 최적화 알고리즘을 적용하여 서브셋 선택 문제를 효율적으로 해결한다.
• 저데이터 환경에서 성능 평가를 위해 사전 훈련된 모델을 선택된 서브셋으로 미세조정한다.
• Adience, Caltech-101, MIT-67, Gender Recognition 등 여러 벤치마크에서 무작위 샘플링 및 불확실성 샘플링과의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 제한된 상황에서 다양성 인식 서브셋 선택이 모델 정확도 향상에 기여할 수 있는가?
• RQ2 활성 학습 프레임워크 내에서 Facility-Location과 Disparity-Min은 레이블링 노력 감소 측면에서 어떻게 비교될 수 있는가?
• RQ3 서브셋 선택 방법의 성능는 클래스 수나 내부 클래스 유사도와 같은 데이터셋 특성에 따라 달라지는가?
• RQ4 모델 정확도를 유지하면서 서브셋 선택이 인간 레이블링 예제 수를 얼마나 줄일 수 있는가?
• RQ5 어떤 상황에서 다양성 선택이 대표성 선택보다 우월한가, 반대로 어떤 상황에서 대표성 선택이 우월한가?

주요 결과

• Facility-Location 및 Disparity-Min를 활용한 서브셋 선택은 기준 방법 대비 저데이터 환경에서 모델 정확도를 2–3% 향상시켰다.
• 내부 클래스 유사도가 높은 Adience 데이터셋에서는 초기 단계에서 Disparity-Min이 다양성 외곽선 샘플을 선택함으로써 Facility-Location을 초월하는 성능을 보였다.
• 더 많은 클래스와 높은 상위 클래스 다양성을 가진 Caltech-101 및 MIT-67에서는 Facility-Location이 대표적인 예시를 선택함으로써 더 우수한 성능을 보였다.
• 활성 학습에서 불확실성 샘플링과 서브셋 선택을 조합한 방법은 순수한 불확실성 샘플링 및 무작위 선택보다 항상 뛰어난 성능을 보였다.
• 미레이블된 예제 수가 감소함에 따라 서브셋 선택의 이점은 감소했으며, 이는 후기 단계에서는 불확실성 샘플링만으로도 충분하다는 것을 시사한다.
• Facility-Location 함수는 최근접 이웃 분류와 이론적으로 일치하는 강력한 대체 수단으로 기능한다.