[논문 리뷰] Active Learning Helps Pretrained Models Learn the Intended Task

Alex Tamkin, Dat Tien Nguyen외 3명|arXiv (Cornell University)|2022. 04. 18.

Machine Learning and Algorithms인용 수 14

한 줄 요약

이 논문은 사전 훈련된 모델이 비사전 훈련된 모델보다 액티브 러닝에서 뛰어나게 성능을 내며, 작업의 모호성을 해결하는 예시들—예를 들어 희귀한 속성이나 이질적인 배경—를 자동으로 식별함으로써 동일한 성능을 달성하기 위해 최대 5배 적은 수의 레이블이 필요하다는 것을 입증한다. 이러한 향상은 사전 훈련 덕분에 표현 공간에서 모호성을 해소하는 특징들의 선형 분리 가능성이 향상되기 때문이다.

ABSTRACT

Models can fail in unpredictable ways during deployment due to task ambiguity, when multiple behaviors are consistent with the provided training data. An example is an object classifier trained on red squares and blue circles: when encountering blue squares, the intended behavior is undefined. We investigate whether pretrained models are better active learners, capable of disambiguating between the possible tasks a user may be trying to specify. Intriguingly, we find that better active learning is an emergent property of the pretraining process: pretrained models require up to 5 times fewer labels when using uncertainty-based active learning, while non-pretrained models see no or even negative benefit. We find these gains come from an ability to select examples with attributes that disambiguate the intended behavior, such as rare product categories or atypical backgrounds. These attributes are far more linearly separable in pretrained model's representation spaces vs non-pretrained models, suggesting a possible mechanism for this behavior.

연구 동기 및 목표

• 사전 훈련된 모델이 비사전 훈련된 모델보다 액티브 러닝을 통해 작업의 모호성을 더 잘 해결할 수 있는지 조사한다.
• 여러 행동이 제공된 예시들과 일치할 수 있는 완전하지 않거나 모호한 훈련 데이터의 과제를 해결한다.
• 사전 훈련이 사용자 의도를 명확히 하는 정보성 있는 예시들을 식별하고 우선순위를 정하는 데 어떻게 기여하는지 탐색한다.
• 불확실성 샘플링을 사용한 액티브 러닝이 사전 훈련된 모델의 데이터 효율성 향상에 측정 가능한 성과를 가져오는지 확인한다.
• 사전 훈련된 모델에서 액티브 러닝 성능 향상의 배경 메커니즘을 규명한다.

제안 방법

• 레이블이 부여된 데이터의 시드 세트와 큰 양의 레이블이 없는 예시 풀을 갖는 풀 기반 액티브 러닝을 사용한다.
• 획득 함수로 불확실성 샘플링(최소 신뢰도 히우리스틱)을 적용한다: 예측 신뢰도가 가장 낮은 예시를 선택한다.
• 모델을 시드 세트로 미세조정한 후, 반복적으로 레이블이 없는 풀에서 가장 낮은 신뢰도를 가진 예측을 확보한다.
• 이미지 및 텍스트 데이터셋에서 동일한 액티브 러닝 프로토콜을 사용하여 사전 훈련된 모델과 비사전 훈련된 모델의 성능을 비교한다.
• 표현 공간을 분석하여 모호성을 해소하는 속성들(예: 희귀한 제품 카테고리, 이질적인 배경)의 선형 분리 가능성을 평가한다.
• 사전 훈련된 모델에서 캘리브레이션된 불확실성 추정치를 사용하여 정보성 있고 모호한 예시의 선택을 이끈다.

실험 결과

연구 질문

• RQ1 사전 훈련된 모델은 비사전 훈련된 모델보다 액티브 러닝을 통해 작업의 모호성을 더 잘 해결할 수 있는가?
• RQ2 사전 훈련된 모델은 액티브 러닝 중 어떤 종류의 예시를 선택하며, 그 이유는 무엇인가?
• RQ3 사전 훈련은 희귀한 속성이나 이질적인 배경과 같은 모호성을 해소하는 특징을 더 잘 식별할 수 있도록 하는가?
• RQ4 사전 훈련된 모델에서 향상된 액티브 러닝 성능은 사전 훈련 과정의 유출 성질인가?
• RQ5 사전 훈련된 모델과 비사전 훈련된 모델의 표현 공간에서 모호성을 해소하는 속성들의 선형 분리 가능성은 어떻게 다를까?

주요 결과

• 사전 훈련된 모델은 무작위 샘플링 대비 최대 5배 적은 레이블로 동일한 성능을 달성한다.
• 고정된 레이블 예산 하에서 사전 훈련된 모델은 무작위 샘플링 대비 절대 정확도 향상 +11%를 달성한다.
• 액티브 러닝은 비사전 훈련된 모델에 대해서는 이점이 없거나 오히려 해로울 수 있으며, 이는 향상된 액티브 러닝이 사전 훈련의 유출 성질임을 시사한다.
• 향상된 성능는 사전 훈련된 모델이 희귀하거나 이질적인 속성을 가진 예시들(예: 빨간색 사각형과 파란색 원으로 이루어진 데이터셋에서 파란색 사각형)을 식별할 수 있는 능력에서 기인한다.
• 이러한 모호성을 해소하는 특징들은 사전 훈련된 모델의 표현 공간에서 비사전 훈련된 모델보다 훨씬 더 선형 분리 가능성이 높다.
• 사전 훈련된 모델은 더 캘리브레이션된 불확실성 추정치를 생성하여, 모호한 입력을 더 잘 선택할 수 있다.