[논문 리뷰] PAL : Pretext-based Active Learning

Shubhang Bhatnagar, Sachin Goyal외 2명|arXiv (Cornell University)|2020. 10. 29.

Machine Learning and Algorithms인용 수 5

한 줄 요약

PAL은 자기지도 학습 회전 예측을 통해 샘플의 낯설음 정도를 평가하는 별도의 점수 네트워크를 사용하여 레이블 노이즈에 대해 강건한 딥 네트워크를 위한 프리텍스트 기반 활성 학습 방법을 제안한다. 이는 다중 과제 학습과 하위 질의 기반의 다양성과 결합되어 질의 품질을 향상시킨다. 깨끗한 레이블 하에서 경쟁 가능한 정확도를 달성하며, 레이블 노이즈 하에서는 이전 방법들을 크게 능가한다. 또한 부족한 클래스에 잘 적응한다.

ABSTRACT

The goal of pool-based active learning is to judiciously select a fixed-sized subset of unlabeled samples from a pool to query an oracle for their labels, in order to maximize the accuracy of a supervised learner. However, the unsaid requirement that the oracle should always assign correct labels is unreasonable for most situations. We propose an active learning technique for deep neural networks that is more robust to mislabeling than the previously proposed techniques. Previous techniques rely on the task network itself to estimate the novelty of the unlabeled samples, but learning the task (generalization) and selecting samples (out-of-distribution detection) can be conflicting goals. We use a separate network to score the unlabeled samples for selection. The scoring network relies on self-supervision for modeling the distribution of the labeled samples to reduce the dependency on potentially noisy labels. To counter the paucity of data, we also deploy another head on the scoring network for regularization via multi-task learning and use an unusual self-balancing hybrid scoring function. Furthermore, we divide each query into sub-queries before labeling to ensure that the query has diverse samples. In addition to having a higher tolerance to mislabeling of samples by the oracle, the resultant technique also produces competitive accuracy in the absence of label noise. The technique also handles the introduction of new classes on-the-fly well by temporarily increasing the sampling rate of these classes.

연구 동기 및 목표

• 실세계 응용에서 오라클(예: 방사선 전문의)이 샘플을 잘못 레이블링할 수 있는 상황에서 활성 학습의 레이블 노이즈에 대한 취약성을 해결하기 위해.
• 샘플 선택을 위한 전용 점수 네트워크를 도입하여 작업 학습 목표와 불확실성 추정을 분리하기 위해.
• 이미지 회전 예측과 같은 자기지도 프리텍스트 작업을 통해 데이터 분포를 모델링하여 잠재적으로 노이즈가 있는 레이블에 대한 의존도를 줄이기 위해.
• 각 질의를 하위 질의로 나누어 이전 모든 질의와 점점 더 다를수록 선택되도록 하여 질의의 다양성과 커버리지 향상시키기 위해.
• 초기 풀이 편향되어 있을 경우 효과적으로 학습할 수 있도록, 부족한 클래스에 대해 동적으로 샘플링 비율을 높이기 위해.

제안 방법

• 레이블이 부여된 데이터를 사용하여 자기지도 프리텍스트 작업—이미지의 무작위 회전 예측—을 통해 별도의 점수 네트워크를 훈련시켜, 잠재적으로 노이즈가 있는 레이블에 의존하지 않고 샘플의 낯설음 정도를 추정한다.
• 점수 네트워크는 분류를 위한 두 번째 헤드와 함께 다중 과제 학습을 수행하여 자기지도 및 지도 학습 헤드 간의 정규화 및 상호 보완을 가능하게 한다.
• 자기지도 헤드와 분류 헤드의 불확실성 추정을 조합한 하이브리드 점수 함수를 사용하며, 기여도를 동적으로 조정할 수 있는 자기균형 메커니즘이 내장되어 있다.
• 질의를 K개의 하위 질의로 나누며, 각 후속 하위 질의는 이전 모든 질의와 낯설음이 있는 샘플을 선택하여 전체 질의 내에서 다양성을 확보한다.
• 전체 질의가 최종 결정되기 전까지는 하위 질의 간에 자율 지도 헤드만 조정하여 불필요한 레이블링 비용을 최소화한다.
• 백본 네트워크는 반복마다 한 번만 훈련되며, 점수 네트워크는 레이블이 부여된 데이터에서만 업데이트되어 계산 오버헤드를 최소화한다.

실험 결과

연구 질문

• RQ1 자기지도 프리텍스트 작업이 활성 학습에서 노이즈가 있는 레이블에 대한 의존도를 줄이면서도 높은 성능을 유지할 수 있는가?
• RQ2 자기지도와 지도 학습의 불확실성 추정을 조합함으로써 레이블 노이즈에 대한 강건성이 어떻게 향상되는가?
• RQ3 하위 질의 기반의 다양성이 질의 커버리지와 모델 일반화에 얼마나 기여하는가?
• RQ4 이 방법은 초기 데이터 편향, 예를 들어 누락되거나 부족한 클래스를 어떻게 다루는가?
• RQ5 자기균형 가중치를 가진 하이브리드 점수 함수가 단일 소스 기반 불확실성 추정보다 우수한가?

주요 결과

• PAL은 레이블이 깨끗한 벤치마크 이미지 인식 및 세그멘테이션 데이터셋에서 경쟁 가능한 정확도를 달성하며, 고비용 훈련 기법이 필요 없이 최신 기술 수준의 방법과 동등한 성능을 보인다.
• 부분적인 레이블 노이즈 하에서 PAL은 기존 활성 학습 방법보다 뚜렷이 뛰어나며, 오라클의 잘못된 레이블링에 대해 강력한 강건성을 입증한다.
• 제거 분석 결과, 세 가지 구성 요소—자기지도 학습, 지도 학습, 다양성—모두 성능 향상에 기여하며, 전체 방법이 가장 높은 정확도를 기록한다.
• t-SNE를 사용한 시각화 결과, 하위 질의 기반의 다양성이 비라벨 데이터에 더 균일하게 커버리지하는 데 기여하며, 질의 분포의 뭉치와 간극을 줄인다.
• PAL은 편향된 초기 풀에서 부족한 클래스를 효과적으로 식별하고 과도표본화하여, 균형 잡힌 샘플링으로 복귀하기 전에 해당 클래스의 성능을 신속히 향상시킨다.
• 스코어 네트워크 백본으로 ResNet-18에서 VGG-16으로 전환해도 성능 저하가 최소한이므로 아키텍처에 대한 강건성을 보여준다.