[논문 리뷰] Small-Text: Active Learning for Text Classification in Python

Christopher Schröder, Lydia Müller외 2명|Zenodo (CERN European Organization for Nuclear Research)|2021. 07. 21.

Machine Learning and Algorithms인용 수 6

한 줄 요약

small-text는 텍스트 분류에서 풀 기반 활성 학습을 위한 모듈러하고 오픈소스인 파이썬 라이브러리로, scikit-learn, PyTorch, Hugging Face Transformers를 통합하여 다양한 분류기와 질의 전략을 활용한 효율적이고 GPU 가속된 실험을 가능하게 한다. 이는 SetFit 미세조정이 일반 BERT 미세조정과 동일한 정확도를 달성하지만 AUC에서 뛰어난 성능을 보이며, 데이터 효율적인 모델 훈련을 가능하게 한다.

ABSTRACT

We introduce small-text, an easy-to-use active learning library, which offers pool-based active learning for single- and multi-label text classification in Python. It features numerous pre-implemented state-of-the-art query strategies, including some that leverage the GPU. Standardized interfaces allow the combination of a variety of classifiers, query strategies, and stopping criteria, facilitating a quick mix and match, and enabling a rapid and convenient development of both active learning experiments and applications. With the objective of making various classifiers and query strategies accessible for active learning, small-text integrates several well-known machine learning libraries, namely scikit-learn, PyTorch, and Hugging Face transformers. The latter integrations are optionally installable extensions, so GPUs can be used but are not required. Using this new library, we investigate the performance of the recently published SetFit training paradigm, which we compare to vanilla transformer fine-tuning, finding that it matches the latter in classification accuracy while outperforming it in area under the curve. The library is available under the MIT License at https://github.com/webis-de/small-text, in version 1.3.0 at the time of writing.

연구 동기 및 목표

• 텍스트 분류에서 높은 레이블링 비용 문제를 해결하기 위해 최소한의 인간 주석으로 활성 학습을 가능하게 하기 위해.
• scikit-learn, PyTorch, Hugging Face Transformers와 같은 널리 사용되는 머신러닝 프레임워크를 통합한 모듈러하고 확장 가능하며 사용하기 쉬운 라이브러리를 제공하기 위해.
• 분류기, 질의 전략, 정지 기준에 대한 표준화된 인터페이스를 제공하여 연구 및 응용 개발을 동시에 지원하기 위해.
• 딥러닝과 대비 학습을 활용하는 현대적 활성 학습 전략을 효율적으로 실험할 수 있도록 하기 위해.
• 오픈소스 코드와 새로운 구성 요소 및 사용 사례에 대한 확장성 덕분에 재현 가능한 연구를 촉진하기 위해.

제안 방법

• 라이브러리는 플러그인 방식의 구성 요소인 분류기, 질의 전략, 정지 기준을 갖춘 모듈러한 풀 기반 활성 학습 프레임워크를 구현한다.
• 기존 머신러닝 모델을 위해 scikit-learn을, 딥러닝을 위해 PyTorch를, 최신 트랜스포머 모델을 위해 Hugging Face Transformers를 통합하며, GPU 지원은 선택 사항이다.
• 신뢰도 기반, 임베딩 기반, 기울기 기반, 코어셋 기반의 네 가지 파라다임에 걸쳐 총 13개의 질의 전략을 지원한다.
• SetFit 훈련 파라다임을 위한 워퍼를 포함하며, 이는 소수의 레이블된 예제로 SBERT 임베딩을 효율적으로 미세조정하기 위해 대비 학습을 사용한다.
• 표준화된 인터페이스를 통해 구성 요소의 다양한 조합이 가능하여 빠른 프로토타이핑과 실험을 가능하게 한다.
• 확장 가능하며 선택적 설치가 가능한 라이브러리로, PyTorch 및 Hugging Face 통합을 통해 GPU 지원이 가능하다.

실험 결과

연구 질문

• RQ1 모듈러한 활성 학습 라이브러리가 텍스트 분류에 필요한 레이블링 노력과 높은 모델 성능을 동시에 줄일 수 있는가?
• RQ2 SetFit 훈련 파라다임은 표준 BERT 미세조정 대비 텍스트 분류 작업에서 정확도와 AUC 측면에서 어떻게 비교되는가?
• RQ3 신뢰도 기반, 임베딩 기반, 기울기 기반, 코어셋 기반 파라다임에서 각각의 질의 전략 중 실질적으로 가장 효과적인 활성 학습 성능을 보이는 것은 무엇인가?
• RQ4 small-text는 소수의 레이블된 데이터로 악성 언어 탐지 및 시민 참여 텍스트 분류와 같은 실세계 응용 분야에서 얼마나 효과적으로 작동할 수 있는가?
• RQ5 Hugging Face Transformers 및 GPU 가속과 같은 현대적 딥러닝 컴포넌트의 통합은 활성 학습 파이프라인의 효율성과 확장성에 어떤 영향을 미치는가?

주요 결과

• SetFit 미세조정은 일반 BERT 미세조정과 동일한 분류 정확도를 달성하지만, 수치적 곡선 아래 면적(AUC) 측면에서 뛰어난 성능을 보인다.
• 타이드 끊기 질의 전략은 현대 트랜스포머 모델을 사용할 경우 예측 엔트로피와 비교해도 우수한 성능을 보이며, 신뢰도 기반 활성 학습의 강력한 대체 전략이 된다.
• small-text를 활용한 활성 학습은 실세계 응용에서 주석 작업을 크게 줄이며, 예를 들어 독일어 시민 참여 텍스트를 8개 주제로 분류할 때 소수의 레이블된 데이터로도 효과적으로 작동한다.
• 라이브러리는 활성 학습을 사용할 경우 데이터의 일부만으로도 6개의 데이터셋에서 악성 언어 탐지에 효율적으로 작동함을 보여주며, 이는 레이블링 비용을 크게 감소시킨다.
• Hugging Face Transformers 및 PyTorch의 통합을 통해 GPU 기반 훈련 및 추론이 가능해져, GPU 사용 여부에 관계없이 성능 향상을 이룬다.
• small-text의 모듈러한 설계 덕분에 빠른 실험과 재현 가능한 연구가 가능하며, 이미 다양한 NLP 작업에 성공적으로 응용된 다수의 연구가 존재한다.