[논문 리뷰] On Initial Pools for Deep Active Learning

Akshay L Chandra, Sai Vikas Desai외 2명|arXiv (Cornell University)|2020. 11. 30.

Machine Learning and Algorithms참고 문헌 30인용 수 6

한 줄 요약

이 논문은 무작위 초기화와 비교하여 자기지도 학습(SimCLR, SCAN) 또는 군집화(K-Means)를 활용한 지능적인 샘플링을 통해 딥 액티브 러닝(DAL) 성능을 향상시킬 수 있는지 조사한다. 대부분의 방법에서 일관된 향상은 관찰되지 않았지만, VAE 기반의 초기 풀은 여러 데이터셋과 쿼리 전략에서 약간이지만 일관된 성능 향상을 보였으며, 재구성하기 어려운 샘플을 생성 모델링하는 것이 저자료 환경에서 일반화 능력을 향상시킬 수 있음을 시사한다.

ABSTRACT

Active Learning (AL) techniques aim to minimize the training data required to train a model for a given task. Pool-based AL techniques start with a small initial labeled pool and then iteratively pick batches of the most informative samples for labeling. Generally, the initial pool is sampled randomly and labeled to seed the AL iterations. While recent studies have focused on evaluating the robustness of various query functions in AL, little to no attention has been given to the design of the initial labeled pool for deep active learning. Given the recent successes of learning representations in self-supervised/unsupervised ways, we study if an intelligently sampled initial labeled pool can improve deep AL performance. We investigate the effect of intelligently sampled initial labeled pools, including the use of self-supervised and unsupervised strategies, on deep AL methods. The setup, hypotheses, methodology, and implementation details were evaluated by peer review before experiments were conducted. Experimental results could not conclusively prove that intelligently sampled initial pools are better for AL than random initial pools in the long run, although a Variational Autoencoder-based initial pool sampling strategy showed interesting trends that merit deeper investigation.

연구 동기 및 목표

• 비랜덤이며 지능적으로 설계된 초기 레이블 풀이 표준 랜덤 샘플링 대비 딥 액티브 러닝(DAL) 성능을 향상시킬 수 있는지 조사하기.
• 자기지도 표현 학습(SimCLR, SCAN) 및 군집 기반 샘플링이 DAL의 효율성과 모델 일반화에 미치는 영향 평가하기.
• 특히 자료 부족 및 클래스 불균형과 같은 현실 세계 제약 조건 하에서, 초기 풀 설계가 장기적인 모델 성능에 영향을 미치는지 규명하기.
• 비지도 또는 자기지도 방법이 추가 레이블링 없이 데이터셋 생성의 레이블링 비용을 줄일 수 있는지 탐색하기.
• 예를 들어 VAE에서 높은 재구성 오차를 보이는 샘플을 포함하는 다각도적 또는 과도한 샘플을 포괄하는 초기 풀이 후속 액티브 러닝 결과를 향상시키는지 여부 평가하기.

제안 방법

• 재구성 오차가 높은 샘플을 선택하는 VAE 기반의 초기 풀 샘플링 전략을 제안하였으며, 이러한 샘플이 더 정보가 많거나 대표적인 경향이 있다고 가정하였다.
• 클러스터링 기반 샘플링(K-Means)을 적용하여 각 클러스터에서 동일한 비율로 샘플을 추출함으로써 초기 풀의 다양성을 확보하였다.
• 미리 훈련된 상태의 자기지도 모델(SimCLR 및 SCAN)을 사용하여 미레이블된 데이터를 임bedding하고, 모델 손실을 통해 어려운 샘플을 식별함으로써 다른 초기 풀 전략을 구성하였다.
• 다양한 쿼리 전략(불확실성 샘플링(LC), 엔트로피 기반 불확실성 샘플링(ME), 딥 베이지안 액티브 러닝(DBAL))을 사용한 표준 풀 기반 액티브 러닝 파이프라인에 이러한 초기 풀을 통합하였다.
• 자기지도 사전 훈련을 위한 프로젝션 헤드를 갖춘 수정된 ResNet18 모델을 훈련하였으며, DBAL 실험에서는 몬테카를로 드롭아웃을 추가하였다.
• 표준화된 초모수 및 정규화를 사용하여 MNIST, CIFAR-10, CIFAR-100, Tiny ImageNet에서 실험을 수행하여 공정한 비교를 확보하였다.

실험 결과

연구 질문

• RQ1 풀 기반 딥 액티브 러닝 방법은 랜덤 샘플링 대신 지능적으로 샘플링된 초기 풀을 통해 성능 향상을 얻을 수 있는가?
• RQ2 자기지도 학습 기법(SimCLR, SCAN 등)을 사용하여 추가 레이블링 없이도 정보가 많은 샘플을 식별하고 초기 풀 선택에 활용할 수 있는가?
• RQ3 초기 풀에 클래스 균형을 확보하는 군집 기반 샘플링 전략이 딥 액티브 러닝에서 일반화 능력을 향상시키는가?
• RQ4 VAE 기반의 초기 풀을 사용할 경우, 랜덤 또는 다른 자기지도 학습 전략 대비 액티브 러닝 성능에 측정 가능한 향상이 있는가?
• RQ5 자료 부족 및 클래스 불균형 조건에서, 여러 액티브 러닝 라운드를 거치며 초기 풀 전략의 성능 변화는 어떻게 되는가?

주요 결과

• VAE 기반의 초기 풀 샘플링 전략은 CIFAR-100에서 랜덤 초기 풀보다 일관되게 뛰어난 성능을 보였으며, 특히 저예산 설정에서 CIFAR-10에서도 약간이지만 양호한 성능 향상을 보였다.
• SCAN 기반 및 K-Means 기반의 초기 풀은 성능 향상이 없었고, 일부 경우에서 랜덤 샘플링보다도 열등한 성능을 보였다. 특히 장꼬리 및 불균형 설정에서 두드러졌다.
• 장꼬리 CIFAR-10 설정에서 VAE 기반 초기 풀은 여러 쿼리 전략에 걸쳐 랜덤 풀 대비 약간이지만 일관된 성능 우위를 보였다.
• 저예산 CIFAR-10에 대한 분석 실험 결과, VAE로 샘플링된 초기 풀은 초기 액티브 러닝 라운드에서 더 빠른 수렴과 낮은 일반화 오차를 유도하였다.
• SimCLR 및 SCAN이 자기지도 표현 학습에서 뛰어난 성능을 보였음에도 불구하고, 초기 풀 선택에 응용했을 때는 더 나은 액티브 러닝 결과로 이어지지 않았다.
• VAE 기반 풀에서 관찰된 약간의 성능 향상은 재구성 난이도가 샘플의 정보성과 관련이 있을 수 있음을 시사하지만, 레이블 풀이 점점 커질수록 이 효과는 감소한다.