[論文レビュー] Diversity Enhanced Active Learning with Strictly Proper Scoring Rules

Wei Tan, Lan Du+1 more|arXiv (Cornell University)|Oct 27, 2021

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿では、テキスト分類における不確実性推定を改善するために、厳密な適切スコアルール（例：対数尤度、平均二乗誤差）を用いる、Bayesian Estimate of Mean Proper Scores (BEMPS) と呼ばれる新しいアクティブラーニングフレームワークを提案する。従来の誤差ベースの獲得関数に代えてスコアベースの関数を採用することで、よりキャリブレーションされた不確実性推定が得られ、複数のデータセットにおいて WMOCU や BADGE、BALD よりも一貫して優れた性能を発揮する。特に、多様性を考慮したバッチ選択戦略と動的検証セットアンサンブルを組み合わせた場合に顕著な向上が見られる。

ABSTRACT

We study acquisition functions for active learning (AL) for text classification. The Expected Loss Reduction (ELR) method focuses on a Bayesian estimate of the reduction in classification error, recently updated with Mean Objective Cost of Uncertainty (MOCU). We convert the ELR framework to estimate the increase in (strictly proper) scores like log probability or negative mean square error, which we call Bayesian Estimate of Mean Proper Scores (BEMPS). We also prove convergence results borrowing techniques used with MOCU. In order to allow better experimentation with the new acquisition functions, we develop a complementary batch AL algorithm, which encourages diversity in the vector of expected changes in scores for unlabelled data. To allow high performance text classifiers, we combine ensembling and dynamic validation set construction on pretrained language models. Extensive experimental evaluation then explores how these different acquisition functions perform. The results show that the use of mean square error and log probability with BEMPS yields robust acquisition functions, which consistently outperform the others tested.

研究の動機と目的

• アクティブラーニングにおける誤差ベースの獲得関数の限界を解消するため、分類誤差の代わりに厳密な適切スコアルールを用いる。
• 対数尤度や平均二乗誤差のような適切スコアの期待増加を推定する理論的根拠に基づいたベイジアンフレームワーク（BEMPS）を構築する。
• 期待スコア変化のベクトル表現とクラスタリングを用いて、多様性を統合したバッチアクティブラーニングを強化する。
• 微調整されたトランスフォーマー・モデルを用いた動的検証セット構築とアンサンブル学習により、モデルのパフォーマンスを向上させる。
• 医療分野など実際の制約がある分野で一般的な実用的制約に合致する、現実的なアノテーション予算下での評価を実施する。

提案手法

• 分類誤差の代わりに、厳密な適切スコアルール（例：対数尤度、平均二乗誤差）の期待増加に基づいた獲得関数を定式化する。
• ベイジアン推定を用いて、未ラベルデータの期待スコア上昇を計算し、BEMPSの獲得関数の根幹を形成する。
• 期待スコア変化のベクトル（式6）に基づいて未ラベルデータをクラスタリングするバッチアクティブラーニング戦略を導入し、多様性を促進する。
• 期待スコア変化のDistilBERT埋め込みを用いてk-meansクラスタリングを実行し、多様性があり不確実性の高いサンプルを選択する。
• 各アクティブラーニング反復後に再サンプリングを行う動的検証セット戦略を実装し、アンサンブルの一般化性能を向上させる。
• 動的検証セットとモデルアンサンブルを統合することで、大きな固定検証セットを必要とせずに不確実性推定とモデルキャリブレーションを向上させる。

実験結果

リサーチクエスチョン

• RQ1 対数尤度や平均二乗誤差のような厳密な適切スコアルールが、分類誤差の代わりにアクティブラーニングの獲得関数においてより頑健でキャリブレーションされた代替手段として機能するか。
• RQ2 期待適切スコア上昇に基づく BEMPS フレームワークが、テキスト分類において BALD や WMOCU といった既存の不確実性ベースの獲得関数と比較してどのように性能を発揮するか。
• RQ3 期待スコア変化のクラスタリングによるバッチ選択における多様性の統合が、アクティブラーニングのパフォーマンスにどの程度の向上効果をもたらすか。
• RQ4 動的検証セット構築が、深層ニューラルネットワークを用いたアクティブラーニングにおけるモデルパフォーマンスと不確実性推定をどの程度向上させるか。
• RQ5 BEMPS、多様性を考慮したバッチ選択、動的検証セットアンサンブルの組み合わせが、現実的なアノテーション予算制約下で、最先端のベースラインを一貫して上回るか。

主な発見

• BEMPS において平均二乗誤差と対数尤度をスコアルールとして用いることで得られる獲得関数（CoreMSE と CoreLog）は、4つのテキスト分類データセットにおいて一貫して WMOCU や BADGE、BALD を上回る性能を発揮する。
• 期待スコア変化のクラスタリングによる多様性促進を組み込んだバッチ BEMPS 戦略（CoreMSE と CoreLog）は、非多様性を考慮したバージョン（CoreMSE_top と CoreLog_top）よりも顕著に優れた性能を示し、バッチ選択における多様性の重要性を裏付けている。
• 動的検証セット構築は、固定長または検証セットなしのベースラインよりも優れた性能を示し、特に PubMed と SST-5 では第3反復以降に顕著な向上が見られる。
• BEMPS と動的検証セット、アンサンブルの組み合わせにより、小さなラベル付きデータセットでもモデルのキャリブレーションと一般化性能が向上する。
• 本手法は半教師あり学習に依存せず、純粋に教師ありのアクティブラーニングベースラインとの公平な比較が可能である。
• CoreMSE と CoreLog は、異なるデータセットとモデルアーキテクチャにおいても頑健であることが示され、専門家によるアノテーション制約がある実世界のテキスト分類への広範な適用可能性を示している。