[논문 리뷰] To Softmax, or not to Softmax: that is the question when applying Active Learning for Transformer Models

Julius Gonsior, Christian Falkenberg외 4명|arXiv (Cornell University)|2022. 10. 06.

Natural Language Processing Techniques참고 문헌 30인용 수 5

한 줄 요약

이 논문은 트랜스포머 모델에서 액티브 러닝을 위한 불확실성 추정 방법을 조사하며, 기존의 소프트맥스가 이상치를 과도하게 선택하는 경향이 있음을 발견한다. 이를 해결하기 위해, 가장 불확실한 상위-k개의 샘플을 무시하는 단순한 히ュ리스틱인 불확실성 클리핑(Uncertainty Clipping)을 제안한다. 이는 소프트맥스를 포함한 모든 방법에서 성능을 향상시키며, 특히 소프트맥스와의 조합에서도 경쟁력을 유지한다.

ABSTRACT

Despite achieving state-of-the-art results in nearly all Natural Language Processing applications, fine-tuning Transformer-based language models still requires a significant amount of labeled data to work. A well known technique to reduce the amount of human effort in acquiring a labeled dataset is extit{Active Learning} (AL): an iterative process in which only the minimal amount of samples is labeled. AL strategies require access to a quantified confidence measure of the model predictions. A common choice is the softmax activation function for the final layer. As the softmax function provides misleading probabilities, this paper compares eight alternatives on seven datasets. Our almost paradoxical finding is that most of the methods are too good at identifying the true most uncertain samples (outliers), and that labeling therefore exclusively outliers results in worse performance. As a heuristic we propose to systematically ignore samples, which results in improvements of various methods compared to the softmax function.

연구 동기 및 목표

• 피니튜닝된 트랜스포머 모델에서 액티브 러닝(AL)의 성능이 떨어지는 문제를 해결하기 위해, 특히 불확실성 추정에 소프트맥스를 사용할 경우의 문제를 다루기 위해.
• 트랜스포머 기반 자연어 처리(NLP) 모델을 위한 액티브 러닝 맥락에서 소프트맥스를 초월한 여덟 가지 대체 불확실성 추정 방법을 평가하기 위해.
• 왜 불확실성 기반 액티브 러닝 전략이 트랜스포머에서 자주 실패하는지 조사하기 위해, 특히 학습이 어려운 이상치를 과도하게 선택하기 때문이기 때문이다.
• 불확실성 클리핑(Uncertainty Clipping)이라는 단순하고 효과적인 히ュ리스틱을 제안하고, 이는 가장 불확실한 샘플을 체계적으로 무시함으로써 액티브 러닝 성능을 향상시키는 것을 검증하기 위해.
• 기본 소프트맥스 함수가 보정 메커니즘과 조합될 경우, 트랜스포머를 위한 액티브 러닝에서 여전히 타당한 선택인지 결정하기 위해.

제안 방법

• 저자는 여덟 가지 불확실성 추정 방법을 비교한다: 소프트맥스, 몬테카를로 드롭아웃, 트러스트스코어, 레이블 스무딩, 딥 지니, 증거 기반 신경망, 소프트맥스 앙상블, 온도 스케일링을 적용한 소프트맥스.
• 이들 방법을 BERT와 RoBERTa를 기반 모델로 하여 일곱 개인 텍스트 분류 데이터셋에서 표준 풀 기반 액티브 러닝 루프에 적용한다.
• 핵심 기여는 불확실성 클리핑(UC)으로, 라벨링 전에 쿼리 배치에서 가장 불확실한 상위-k개의 샘플을 제거함으로써 이방의 과도한 의존을 방지한다.
• 이 방법은 모델의 불확실성 점수에 대한 후처리 단계로 구현되며, 아키텍처 수정이나 추가 학습이 필요하지 않다.
• 성능 평가는 라벨링 예산에 따른 정확도, 클래스 분포 변화, 여러 액티브 러닝 반복 동안의 런타임 효율성으로 평가된다.
• 실험은 엔드 투 엔드 학습 및 평가를 포함하며, 런타임은 모델 피니튜닝과 별도로 측정된다.

실험 결과

연구 질문

• RQ1 왜 불확실성 기반 액티브 러닝 전략은 피니튜닝된 트랜스포머 모델에 적용했을 때 성능 향상이 이루어지지 않을까?
• RQ2 트랜스포머 모델을 위한 액티브 러닝에서 소프트맥스를 초월한 대체 불확실성 추정 방법은 기존 소프트맥스와 어떻게 비교될까?
• RQ3 높은 모델 불확실성을 가진 이상치 샘플의 선택이 트랜스포머에서 액티브 러닝 성능에 얼마나 큰 악영향을 미칠까?
• RQ4 불확실성 클리핑과 같은 단순한 히ュ리스틱이 높이 불확실한(이상치) 샘플 선택의 부정적 영향을 완화할 수 있을까?
• RQ5 보정 메커니즘인 불확실성 클리핑과 조합될 경우, 기본 소프트맥스 함수는 액티브 러닝에서 여전히 타당한 선택이 될 수 있을까?

주요 결과

• 이론적으로 결함이 있는 것으로 간주되지만, 불확실성 클리핑과 조합된 기본 소프트맥스 함수는 트랜스포머를 위한 액티브 러닝에서 경쟁적인 성능을 보인다.
• 소프트맥스를 초월한 대부분의 대체 불확실성 방법, 예를 들어 몬테카를로 드롭아웃과 증거 기반 신경망은 이상치 과도 선택로 인해 랜덤 샘플링보다 성능이 열 劣하다.
• 불확실성 클리핑은 소프트맥스 기반 기준선을 포함한 모든 불확실성 추정 방법에서 성능을 크게 향상시키며, 쿼리 배치에 극단적인 이상치가 포함되는 것을 줄인다.
• 이 방법은 계산적으로 효율적이며 재학습이나 아키텍처 변경이 필요 없어 기존 액티브 러닝 파이프라인에 쉽게 통합할 수 있다.
• 불확실성 클리핑 적용 시 쿼리 배치의 레이블 분포 변화가 감소하여 클래스 간 균형 잡힌 샘플링이 이루어지고 있음을 나타낸다.
• 런타임 분석 결과, 소프트맥스 앙상블과 같은 앙상블 기반 방법은 수행이 불가능할 정도로 느리며, 몬테카를로 드롭아웃 및 트러스트스코어와 같은 다른 방법들은 오직 미미한 오버헤드만을 유발한다.