[論文レビュー] Small-Text: Active Learning for Text Classification in Python

Christopher Schröder, Lydia Müller+2 more|Zenodo (CERN European Organization for Nuclear Research)|Jul 21, 2021

Machine Learning and Algorithms被引用数 6

ひとこと要約

small-text は、scikit-learn、PyTorch、Hugging Face Transformers を統合することで、多様な分類器およびクエリ戦略を用いた効率的で GPU 加速の実験を可能にする、プールベースのアクティブラーニング用のモジュラーでオープンソースの Python ライブラリです。SetFit の微調整は、通常の BERT の微調整と同等の精度を達成するが、AUC ではそれを上回ることを示しており、データ効率の良いモデル学習を可能にします。

ABSTRACT

We introduce small-text, an easy-to-use active learning library, which offers pool-based active learning for single- and multi-label text classification in Python. It features numerous pre-implemented state-of-the-art query strategies, including some that leverage the GPU. Standardized interfaces allow the combination of a variety of classifiers, query strategies, and stopping criteria, facilitating a quick mix and match, and enabling a rapid and convenient development of both active learning experiments and applications. With the objective of making various classifiers and query strategies accessible for active learning, small-text integrates several well-known machine learning libraries, namely scikit-learn, PyTorch, and Hugging Face transformers. The latter integrations are optionally installable extensions, so GPUs can be used but are not required. Using this new library, we investigate the performance of the recently published SetFit training paradigm, which we compare to vanilla transformer fine-tuning, finding that it matches the latter in classification accuracy while outperforming it in area under the curve. The library is available under the MIT License at https://github.com/webis-de/small-text, in version 1.3.0 at the time of writing.

研究の動機と目的

• テキスト分類における高いラベル付けコストの課題に対処し、最小限の人的アノテーションでアクティブラーニングを可能にすること。
• scikit-learn、PyTorch、Hugging Face Transformers といった広く使われている ML フレームワークを統合する、モジュラーで拡張可能かつ使いやすいライブラリを提供すること。
• 分類器、クエリ戦略、停止基準のための標準化されたインターフェースを提供することで、研究およびアプリケーション開発を支援すること。
• ディープラーニングやコントラスト学習を活用する最新のアクティブラーニング戦略を効率的に実験できるようにすること。
• オープンソースのコードと新規コンポONENTやユースケースの拡張性を提供することで、再現性のある研究を促進すること。

提案手法

• ライブラリは、プラグイン可能なコンponent（分類器、クエリ戦略、停止基準）を備えたモジュラーなプールベースのアクティブラーニングフレームワークを実装している。
• 伝統的な ML モデルには scikit-learn、ディープラーニングには PyTorch、最新のトランスフォーマー モデルには Hugging Face Transformers を使用し、GPU 対応をオプションで提供する。
• 4 つのパラダイム（信頼度ベース、埋め込みベース、勾配ベース、コアセットベース）にまたがる合計 13 種類のクエリ戦略をサポートしている。
• コントラスト学習を用いて少数のラベル付き例で SBERT 埋め込みを効率的に微調整する SetFit 学習パラダイムのラッパーを含んでいる。
• 標準化されたインターフェースを通じて、コンponent の柔軟な組み合わせが可能で、迅速なプロトタイピングと実験が可能である。
• 拡張可能で、オプションインストールが可能なライブラリであり、PyTorch および Hugging Face 統合により GPU 対応が可能である。

実験結果

リサーチクエスチョン

• RQ1 モジュラーなアクティブラーニングライブラリは、高いモデル性能を維持しつつ、テキスト分類に必要なラベル付け作業を顕著に削減できるか？
• RQ2 SetFit 学習パラダイムは、標準的な BERT の微調整と比較して、テキスト分類タスクにおける精度と AUC の観点でどのように異なるか？
• RQ3 信頼度ベース、埋め込みベース、勾配ベース、コアセットベースの各パラダイムに属するクエリ戦略の中で、実際のアクティブラーニングで最も効果的なのはどれか？
• RQ4 small-text は、少量のラベル付きデータで、いわゆるいびき言語検出や市民参加テキスト分類といった実世界の応用にどの程度対応できるか？
• RQ5 Hugging Face Transformers や GPU 加速といった最新のディープラーニングコンponents の統合は、アクティブラーニングパイプラインの効率性とスケーラビリティにどのように影響するか？

主な発見

• SetFit の微調整は、通常の BERT の微調整と同等の分類精度を達成するが、受容器特性曲線下積分（AUC）ではそれを上回る。
• タイの解消クエリ戦略は、特に最新のトランスフォーマー モデルを用いた不確実性ベースのアクティブラーニングにおいて、予測エントロピーの代替として堅牢に機能する。
• small-text を用いたアクティブラーニングは、少量のラベル付きデータでドイツ語の市民参加テキストを 8 つのトピックに分類するような実世界の応用において、アノテーション作業を顕著に削減する。
• ライブラリは、6 つのデータセットで有害な言語検出を効率的に行うことを可能にし、アクティブラーニングを用いることでデータのわずか一部で十分であることを示している。
• Hugging Face Transformers と PyTorch の統合により、GPU 加速による学習と推論が可能となり、GPU を使用しない場合でもパフォーマンスが向上する。
• small-text のモジュラー設計は、迅速な実験と再現性のある研究を可能にし、複数の研究で多様な NLP タスクにこのライブラリが成功裏に応用されている。