[論文レビュー] Cold-start Active Learning through Self-supervised Language Modeling

Michelle Yuan, Hsuan-Tien Lin+1 more|arXiv (Cornell University)|Oct 19, 2020

Machine Learning and Algorithms参考文献 55被引用数 6

ひとこと要約

本稿では、BERTベースのテキスト分類のためのコールドスタートアクティブラーニング手法であるALPS（Active Learning by Processing Surprisal）を提案する。この手法は、自己教師あり学習の損失関数（MLM損失）を不確実性の代理指標として用いる。予測の確率が低い（即ち、事前学習済みモデルの下で尤もらしくない）高パーセプレキシティ（周辺度）を示すサンプルを選択することで、ベースライン手法と比較してラベル付けの反復回数を減らし、計算コストも低減する。その結果、低データ設定下でも高い効率性と有効性を示す。

ABSTRACT

Active learning strives to reduce annotation costs by choosing the most critical examples to label. Typically, the active learning strategy is contingent on the classification model. For instance, uncertainty sampling depends on poorly calibrated model confidence scores. In the cold-start setting, active learning is impractical because of model instability and data scarcity. Fortunately, modern NLP provides an additional source of information: pre-trained language models. The pre-training loss can find examples that surprise the model and should be labeled for efficient fine-tuning. Therefore, we treat the language modeling loss as a proxy for classification uncertainty. With BERT, we develop a simple strategy based on the masked language modeling loss that minimizes labeling costs for text classification. Compared to other baselines, our approach reaches higher accuracy within less sampling iterations and computation time.

研究の動機と目的

• モデルがキャリブレーションされておらず、データが限られている低リソース環境におけるアクティブラーニングの課題に対処すること。
• 分類の信頼度スコアや微調整済みモデルに依存しないコールドスタートアクティブラーニング戦略を開発すること。
• 事前学習済み言語モデルの自己教師あり目的を、データ選択における不確実性の代理指標として活用すること。
• 最小限のラベル付け作業でアルゴリズムの効率性とモデルの精度を向上させること。
• 再トレーニングなしに、バッチクエリを含む柔軟なサンプリング戦略を可能にすること。

提案手法

• ALPSは、事前学習済みBERTエンコーダーのマスクされた言語モデル（MLM）損失を、分類の不確実性の代理指標として使用する。
• 高いMLMパーセプレキシティを示す未ラベル付きサンプルを選択し、これらがより驚きやすく、微調整に有用であると仮定する。
• この手法はコールドスタート設定で動作し、初期の微調整や信頼度スコアを必要とせず、事前学習済みモデルの自己教師あり学習に依存する。
• ALPSは反復的および1回のバッチでのクエリ戦略をサポートしており、ラベル付け予算が異なる状況でも柔軟に導入可能である。
• 標準的なアクティブラーニングループに従い、高驚き度のサンプルをクエリし、ラベル付けした後、分類器を微調整する。
• 本手法は4つのテキスト分類データセットで評価され、複数のアクティブラーニングベースラインと比較されている。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり言語モデルの損失が、コールドスタートアクティブラーニングにおける不確実性の代理指標として有効に機能するか？
• RQ2 ALPSは従来のアクティブラーニング手法と比較して、精度とラベル付けの効率性において優れているか？
• RQ3 分類器を再トレーニングせずに一度に多数のデータをバッチでサンプリングしても、ALPSは性能を維持できるか？
• RQ4 事前学習済みモデルのパーセプレキシティを用いることで、低リソース環境下のテキスト分類におけるデータ選択が改善されるか？
• RQ5 ALPSはベースラインと比較して、ラベル付けの反復回数と計算コストをどの程度削減できるか？

主な発見

• ALPSは、PubMedやIMDBを含む4つのテキスト分類データセットで、ベースラインのアクティブラーニング手法を上回るテスト精度を達成した。
• ピーク性能に到達するまでのラベル付けの反復回数が少なく、優れたサンプル効率性を示した。
• 各クエリ後に繰り返しモデルを再トレーニングする必要がないため、計算時間の短縮が達成された。ALPSは事前学習済みエンコーダーのみに依存する。
• 反復的サンプリングと1回のバッチでのサンプリングの両方において、一貫した性能を維持しており、導入の柔軟性を示した。
• PubMedでは1,000文のサンプリングに約97分、IMDBでは約7分で実行可能であり、高いスケーラビリティを示した。
• MLMパーセプレキシティを選択基準として用いることで、特にコールドスタート環境下で、信頼度に基づく不確実性サンプリングを上回る性能が得られた。