[論文レビュー] Multi-class Text Classification using BERT-based Active Learning

Sumanth Prabhu, Moosa Mohamed+1 more|arXiv (Cornell University)|Apr 27, 2021

Text and Document Classification Technologies参考文献 47被引用数 5

ひとこと要約

本論文は、ピックアップ・デリバリー・サービスで一般的に見られる低リソース、コードミックスド、不連携なテキスト環境を想定した、BERTベースのアクティブラーニングフレームワークを提案する。TREC-6、AG’s News、および社内データセットにおいて、不確実性、多様性、代表性を含む多様なアクティブラーニング戦略を評価した結果、ラベル付けコストを85%削減しながら高い精度を維持した。EGLおよびDALは、多様性、代表性、低クラスバイアスのバランスに優れていた。

ABSTRACT

Text Classification finds interesting applications in the pickup and delivery services industry where customers require one or more items to be picked up from a location and delivered to a certain destination. Classifying these customer transactions into multiple categories helps understand the market needs for different customer segments. Each transaction is accompanied by a text description provided by the customer to describe the products being picked up and delivered which can be used to classify the transaction. BERT-based models have proven to perform well in Natural Language Understanding. However, the product descriptions provided by the customers tend to be short, incoherent and code-mixed (Hindi-English) text which demands fine-tuning of such models with manually labelled data to achieve high accuracy. Collecting this labelled data can prove to be expensive. In this paper, we explore Active Learning strategies to label transaction descriptions cost effectively while using BERT to train a transaction classification model. On TREC-6, AG's News Corpus and an internal dataset, we benchmark the performance of BERT across different Active Learning strategies in Multi-Class Text Classification.

研究の動機と目的

• 短く不連携で、ヒンディー語-英語のコードミックスドな取引記述文を含む実世界の産業応用において、BERTベースの多クラステキスト分類の手作業ラベル付けにかかる高コストを低減すること。
• ラベル付けの負荷を最小限に抑えるために、BERTベースのフレームワーク内で不確実性、多様性、代表性、クラスバイアスの複数のアクティブラーニング戦略を評価・比較すること。
• 公開データセットおよび社内データセットを用いて、先進的なアクティブラーニング手法（例：EGL、DAL、DBAL、Core-set）のパフォーマンスをベンチマークし、産業的導入に最も適した戦略を同定すること。
• BERTベースのテキスト分類におけるアクティブラーニングのモデル性能、ラベル付け効率、計算実行時間のトレードオフを評価すること。

提案手法

• 初期ラベル付きデータセットを小規模にフィネーチューニングして、多クラス予測用のテキスト分類モデルを初期化する。
• 未ラベルプールから最も情報価値の高いサンプルを選択するために、不確実性（エントロピー）、多様性（Core-set）、代表性（KNN密度）、クラスバイアス（ラベルエントロピー）の複数のアクティブラーニング戦略を適用する。
• 多様性および代表性の指標の入力として、BERTの[CLS]トークン埋め込みを用い、コアセットおよびKNN密度計算のためのインスタンス間の距離を計算する。
• 予測エントロピーがクラス全体で最大となるインスタンスを選択することで、不確実性サンプリングを実装する。
• 代表性はKNN密度測度を用いて評価する：未ラベルプール内でのK番目の近隣の平均距離の逆数。
• クラスバイアスは、真のラベル分布と選択されたインスタンスの分布との間のKullback-Leibler（KL）ダイバージェンスを用いて定量化する。

実験結果

リサーチクエスチョン

• RQ1 BERTベースの多クラステキスト分類において、不確実性、多様性、代表性のどのアクティブラーニング戦略が、ラベル付けコストを最も効果的に削減しながら高い分類精度を維持できるか？
• RQ2 短く不連携でコードミックスドなテキストデータに適用した場合、異なるアクティブラーニング戦略は多様性および代表性の観点でどのように性能を発揮するか？
• RQ3 アクティブラーニング戦略はどの程度クラスバイアスを生じさせ、ラベル分布の不均衡を最小限に抑える戦略は何か？
• RQ4 BERTベースの設定において、異なるアクティブラーニング戦略の間で、モデル性能、ラベル付け効率、計算実行時間のトレードオフはどのように変化するか？

主な発見

• EGL（エントロピーに基づくアクティブラーニング）は、多様性、代表性、低クラスバイアスの観点で最も良好なバランスを示し、TREC-6およびAG’s Newsコーパスの両方で他の戦略を上回った。
• ランダムサンプリングは最高の多様性と代表性スコアを達成したが、最も高いクラスバイアスを示し、ラベル分布カバレッジが不十分であることを示唆した。
• DAL（多様性に配慮したアクティブラーニング）およびEGLは、不確実性、Core-set、DBALよりも顕著に低いクラスバイアスを示した。これは、ウィルコクソン符号順位検定（p < 0.05）で確認された。
• アクティブラーニング戦略の実行時間には顕著な差が見られた：ランダムが最も速かった（1秒未塔）、EGLは最も遅かった（1イテレーションあたり484秒）、勾配計算に起因する。
• 平均して、提案されたアクティブラーニングフレームワークは、完全な教師あり微調整と比較して、ラベル付けコストを85%削減したが、全データセットで高い精度を維持した。
• Core-setは高い多様性を達成したが、代表性が一貫せず、外れ値インスタンスの選択に起因すると考えられ、純粋な多様性ベースのサンプリングにおけるトレードオフを示した。