[논문 리뷰] Deep Active Learning over the Long Tail

Yonatan Geifman, Ran El‐Yaniv|arXiv (Cornell University)|2017. 11. 02.

Machine Learning and Algorithms참고 문헌 14인용 수 86

한 줄 요약

이 논문은 FF-Active를 제안하는데, FF-Active는 깊은 네트에서 가장 먼-먼저 표현 공간 코어셋 기반 풀(active) 학습 방법으로, MNIST, CIFAR-10, CIFAR-100에서 임의 샘플링과 불확실성(소프트맥스) 샘플링 대비 긴 꼬리형 다중 라운드 설정에서 샘플 효율성 향상을 보인다.

ABSTRACT

This paper is concerned with pool-based active learning for deep neural networks. Motivated by coreset dataset compression ideas, we present a novel active learning algorithm that queries consecutive points from the pool using farthest-first traversals in the space of neural activation over a representation layer. We show consistent and overwhelming improvement in sample complexity over passive learning (random sampling) for three datasets: MNIST, CIFAR-10, and CIFAR-100. In addition, our algorithm outperforms the traditional uncertainty sampling technique (obtained using softmax activations), and we identify cases where uncertainty sampling is only slightly better than random sampling.

연구 동기 및 목표

• 깊은 활성 학습에서 긴-tail 풀 설정에서 라벨 효율성을 제고하고 다룬다.
• 표현 공간 코어셋을 활용하여 선택 쿼리를 안내한다.
• 하이퍼 파라미터 민감도 감소와 초기 단계 성능 안정화를 위한 실용적 쿼리 전략을 개발한다.

제안 방법

• 초기 깊은 모델을 학습한 후 긴-tail 설정에서 반복적 활성 학습 라운드를 수행한다.
• 마지막 계층 직전의 표현 φ(x)를 이용해 표현 공간에서 각 클래스 코어셋을 가장 멀리 떨어진 traversal으로 구성한다.
• 각 라운드에서, 현재 라벨링된 표현들에 대한 최소 거리를 최대화하는 비표지 점을 탐욕적으로 선택하여 배치를 구성한다.
• 제안된 FF-Active를 소프트맥스 응답(불확실성 샘플링) 및 무작위 샘플링과 여러 데이터셋에서 비교한다.
• 또한 표현을 풍부하게 하고 분산을 줄이기 위해 의사 라벨링이나 몬테카를로 드롭아웃과 같은 확장에 대해 논의할 수 있다.

실험 결과

연구 질문

• RQ1 표현 공간의 가장 멀리 떨어진 traversal이 깊은 네트에서 긴-tail 설정의 라벨 효율적인 활성 학습을 제공하는가?
• RQ2 FF-Active는 표준 이미지 데이터셋에서 불확실성 샘플링 및 무작위 샘플링과 비교하면 어떤가?
• RQ3 표현 기반 코어셋이 깊은 활성 학습에서 무거운 하이퍼 파라미터 조정 없이 실용적인 개선을 제공할 수 있는가?
• RQ4 합성 긴-tail(더 큰 풀)이 쿼리 효율성에 어떤 영향을 미치는가?

주요 결과

• FF-Active는 MNIST, CIFAR-10, CIFAR-100 전반에서 무작위 샘플링 대비 라벨 효율성 향상을 크게 달성한다.
• FF-Active은 일반적으로 전통적 소프트맥스 기반 불확실성 샘플링보다 우수한 성능을 보이며, 특히 초기 활성 라운드 이후에 그렇다.
• MNIST에서 FF-Active와 SR은 초기에는 비슷하게 작동하지만, 라벨링이 증가할수록 FF-Active가 우위를 유지한다.
• CIFAR-10과 CIFAR-100에서 FF-Active는 무작위 대비 명확한 이점을 보이고 SR은 초기에는 비슷하지만 나중에 악화된다.
• 합성 더 긴 꼬리(확대된 풀)는 FF-Active의 무작위 및 SR에 대한 우월성을 크게 확대한다.
• 이 방법은 표현 공간의 가장 멀리 떨어진 코어셋이 깊은 네트의 효과적인 표기 데이터 선택을 이끌 수 있음을 보여준다.