[논문 리뷰] Discriminative Active Learning

Daniel Gissin, Shai Shalev‐Shwartz|arXiv (Cornell University)|2019. 07. 15.

Machine Learning and Algorithms참고 문헌 27인용 수 109

한 줄 요약

DAL은 배치 활성 학습을 이진 분류 문제로 재구성하여 라벨링된 데이터와 비라벨링 데이터를 구별할 수 없도록 만들고, 신경망을 위한 정보가 풍부한 배치를 효율적으로 선택할 수 있게 한다.

ABSTRACT

We propose a new batch mode active learning algorithm designed for neural networks and large query batch sizes. The method, Discriminative Active Learning (DAL), poses active learning as a binary classification task, attempting to choose examples to label in such a way as to make the labeled set and the unlabeled pool indistinguishable. Experimenting on image classification tasks, we empirically show our method to be on par with state of the art methods in medium and large query batch sizes, while being simple to implement and also extend to other domains besides classification tasks. Our experiments also show that none of the state of the art methods of today are clearly better than uncertainty sampling when the batch size is relatively large, negating some of the reported results in the recent literature.

연구 동기 및 목표

• 깊은 학습에서 정보가 풍부한 라벨링된 데이터를 선택함으로써 라벨링 비용을 줄이는 것을 동기를 부여한다.
• 학습된 표현에 의존하며 작업에 구애받지 않는 배치 모드 활성 학습 방법을 제안한다.
• 라벨링된 집합과 비라벨링 집합을 구분할 수 없도록 만드는 것이 배치 선택을 개선한다는 것을 보인다.
• 이미지 분류 작업에서 최첨단 방법과의 경쟁력을 입증한다.
• 실용적 고려사항과 분류 작업을 넘어선 가능한 확장에 대해 논의한다.

제안 방법

• 학습된 표현 공간 Ψ(x)에서 라벨링된 데이터와 비라벨링 데이터를 구분하는 이진 분류 문제로 활성 학습을 형식화한다.
• U ∪ L에서 이진 분류기를 학습시켜 y ∈ {l, u}에 대한 P(y|Ψ(x))를 근사한다.
• 가장 높은 후방 확률 P(y=u|Ψ(x))를 가진 상위 K개의 비라벨링 예제를 선택한다.
• 작은 묶음 간 Ψ를 바꾸지 않으면서 속도와 다양성을 균형잡기 위해 배치 단위의 미니-쿼리를 사용한다.
• 이진 분류기에 대해 훈련 샘플에 맞도록 간단한 MLP(세 개의 은닉층, 폭 256)를 선택한다.
• 정보적으로 불확실한 예제가 식별되도록 학습 정확도를 약 98% 내로 제한하는 옵션을 제공한다.

실험 결과

연구 질문

• RQ1 라벨링된 데이터와 비라벨링 데이터 간의 이진 판별 문제로 문제를 다루는 것이 활성 학습에서 효과적으로 수행될 수 있는가?
• RQ2 Discriminative Active Learning(DAL) 방식이 불확실성 기반 및 Core-Set 방법과 다양한 배치 크기에 걸쳐 어떻게 비교되는가?
• RQ3 학습된 표현 Ψ(x)를 사용하는 것이 배치 선택을 위해 원시 입력 공간을 사용하는 것보다 성능을 향상시키는가?
• RQ4 DAL이 학습된 표현을 사용하는 다른 도메인으로도 분류 작업을 넘어 확장될 수 있는가?
• RQ5 배치 쿼잉에서 속도-다양성 트레이드오프에 영향을 주는 실용적 고려사항은 무엇인가?

주요 결과

• DAL은 MNIST 및 CIFAR-10에서 중간에서 큰 배치 크기에 대해 최첨단 방법과 경쟁력 있는 정확도를 달성한다.
• 불확실성 기반 방법은 작은 배치 크기에서 좋은 성능을 보이나, 매우 큰 배치 크기에서 모든 방법의 성능이 수렴한다.
• DAL은 불확실성 및 마진 기반 방법들과 다르게 비라벨링 데이터를 순위 매김하여 고유한 선택 전략을 나타낸다.
• Core-Set은 매우 작은 배치 크기에서만 잘 작동하며, 작은 배치 시나리오에서 DAL은 종종 Core-Set을 능가한다.
• DAL과 함께 배치 쿼잉은 미니-쿼리를 통해 다양성을 더 높일 수 있지만 성능을 희생하지 않는다.