[논문 리뷰] Uncertainty-based Query Strategies for Active Learning with Transformers.

Christopher Schröder, Andreas Niekler외 1명|arXiv (Cornell University)|2021. 07. 12.

Machine Learning and Algorithms참고 문헌 36인용 수 5

한 줄 요약

이 논문은 트랜스포머 모델을 위한 불확실성 기반 쿼리 전략을 제안하며, 이 전략들이 오직 훈련 데이터의 0.4%에서 15%만을 사용하여 다섯 개의 텍스트 분류 벤치마크에서 학습 곡선의 면적을 최대 14.4个百分点 향상시키며 최신 기술 수준(SOTA) 성능을 달성함을 보여준다.

ABSTRACT

Active learning is the iterative construction of a classification model through targeted labeling, enabling significant labeling cost savings. As most research on active learning has been carried out before transformer-based language models (transformers) became popular, despite its practical importance, comparably few papers have investigated how transformers can be combined with active learning to date. This can be attributed to the fact that using state-of-the-art query strategies for transformers induces a prohibitive runtime overhead, which effectively cancels out, or even outweighs aforementioned cost savings. In this paper, we revisit uncertainty-based query strategies, which had been largely outperformed before, but are particularly suited in the context of fine-tuning transformers. In an extensive evaluation on five widely used text classification benchmarks, we show that considerable improvements of up to 14.4 percentage points in area under the learning curve are achieved, as well as a final accuracy close to the state of the art for all but one benchmark, using only between 0.4% and 15% of the training data.

연구 동기 및 목표

• 높은 런타임 오버헤드로 인해 최신 트랜스포머 모델과 주도 학습을 통합한 연구가 부족한 데 대비하여 문제를 해결한다.
• 최적화된 트랜스포머 모델 환경에서 불확실성 기반 쿼리 전략을 재평가하며, 이는 효율성 향상 잠재력이 있음에도 불구하고 아직 충분히 활용되지 않았다.
• 최적화된 트랜스포머에 적용했을 때 불확실성 기반 전략이 레이블링 노력의 현저한 감소와 함께 높은 모델 성능을 달성할 수 있음을 입증한다.
• 다양하고 널리 사용되는 텍스트 분류 벤치마크를 통해 제안된 방법의 일반화 가능성과 강건성을 확보한다.

제안 방법

• 기존 기계 학습에서 흔히 사용되는 불확실성 기반 쿼리 전략을 최적화된 트랜스포머 모델에 적용하기 위해 적응시킨다.
• 모델의 불확실성 추정치(예: 엔트로피 또는 마진 기반 불확실성)를 활용해 레이블링에 가장 유용한 샘플을 선별한다.
• 모델을 각 레이블링 라운드 후 재학습하는 반복적인 주도 학습 루프 내에서 불확실성 샘플링을 통합한다.
• 텍스트 분류 작업에서 최적화된 BERT 유사 모델에 이 전략을 적용하여 각 반복에서의 계산 오버헤드를 최소화한다.
• 모든 샘플에 대해 각 반복에서 불확실성 점수를 다시 계산하는 것을 피함으로써 추론 효율성을 최적화한다.
• 각 쿼리 이후 표준 최적화 절차를 사용해 모델를 업데이트함으로써 기존 NLP 파ip라인과의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 최적화된 트랜스포머 모델에 적용했을 때 불확실성 기반 쿼리 전략이 주도 학습에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 트랜스포머 기반 텍스트 분류 환경에서 불확실성 기반 주도 학습의 성능이 다른 쿼리 전략과 비교해 어떻게 되는가?
• RQ3 불확실성 기반 전략이 표준 벤치마크에서 높은 모델 정확도를 유지하면서 레이블링 비용을 얼마나 줄일 수 있는가?
• RQ4 소량의 레이블 데이터만을 사용할 경우, 쿼리 전략 선택이 학습 곡선과 최종 모델 정확도에 어떤 영향을 미치는가?

주요 결과

• 다섯 개의 텍스트 분류 벤치마크에서 기존 방법보다 불확실성 기반 전략이 학습 곡선의 면적을 최대 14.4个百分点 높이는 성과를 기록했다.
• 제안된 방법은 오직 훈련 데이터의 0.4%에서 15%만을 사용하여 다섯 벤치마크 중 네 개에서 최신 기술 수준에 근접한 최종 정확도를 달성했다.
• 기존에 트랜스포머 기반 주도 학습에서 쿼리 전략과 관련된 높은 런타임 오버헤드 문제를 효과적으로 완화하여 실용적인 구현이 가능해졌다.
• 성능 향상은 다양한 텍스트 분류 작업에서 일관되게 나타나, 광범위한 적용 가능성과 강건성을 시사한다.
• 이전에는 다른 전략에 의해 뒤지던 불확실성 샘플링이 최적화된 트랜스포머에 적절히 적용될 경우 매우 효과적임을 입증했다.
• 모델 성능을 희생시키지 않고도 레이블링 비용을 크게 절감할 수 있어 실제 NLP 응용 분야에 매우 적합하다.