[論文レビュー] Uncertainty-based Query Strategies for Active Learning with Transformers.

Christopher Schröder, Andreas Niekler+1 more|arXiv (Cornell University)|Jul 12, 2021

Machine Learning and Algorithms参考文献 36被引用数 5

ひとこと要約

この論文は、トランスフォーマーを用いたアクティブラーニングにおける不確実性に基づくクエリ戦略を提案し、5つのテキスト分類ベンチマークで、訓練データのわずか0.4%〜15%を用いて最先端の性能を達成することを示している。学習曲線の下側面積において最大14.4パーセンテージポイントの向上が得られている。

ABSTRACT

Active learning is the iterative construction of a classification model through targeted labeling, enabling significant labeling cost savings. As most research on active learning has been carried out before transformer-based language models (transformers) became popular, despite its practical importance, comparably few papers have investigated how transformers can be combined with active learning to date. This can be attributed to the fact that using state-of-the-art query strategies for transformers induces a prohibitive runtime overhead, which effectively cancels out, or even outweighs aforementioned cost savings. In this paper, we revisit uncertainty-based query strategies, which had been largely outperformed before, but are particularly suited in the context of fine-tuning transformers. In an extensive evaluation on five widely used text classification benchmarks, we show that considerable improvements of up to 14.4 percentage points in area under the learning curve are achieved, as well as a final accuracy close to the state of the art for all but one benchmark, using only between 0.4% and 15% of the training data.

研究の動機と目的

• 高い実行時間のオーバーヘッドのため、最先端のトランスフォーマーをアクティブラーニングと統合する研究が不足しているという問題に対処する。
• 微調整済みトランスフォーマーの文脈において、不確実性に基づくクエリ戦略が未活用であるにもかかわらず、効率性の向上が見込まれるという点を再評価する。
• 微調整済みトランスフォーマーに適用した場合、不確実性に基づく戦略が顕著なラベリング作業の削減を実現しつつ、高いモデル性能を達成できることを示す。
• 多様で広く使われているテキスト分類ベンチマークを用いて、提案手法の一般化可能性と頑健性を評価する。

提案手法

• 従来の機械学習で一般的に用いられる不確実性に基づくクエリ戦略を、微調整済みトランスフォーマー モデルに適応する。
• モデルの不確実性推定値（例：エントロピーまたはマージンに基づく不確実性）を活用して、ラベリングに最も有益なサンプルを選択する。
• 各ラベリングラウンド後にモデルを再トレーニングする反復的アクティブラーニングループ内で、不確実性サンプリングを統合する。
• テキスト分類タスクにおける微調整済み BERT モデルにこの戦略を適用し、クエリ選択時の計算オーバーヘッドを最小限に抑える。
• 各イテレーションで全サンプルの不確実性スコアを再計算する高コストな処理を回避することで、推論の効率性を最適化する。
• 各クエリ後に標準的な微調整手順を適用してモデルを更新し、既存のNLPパイプラインとの互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 微調整済みトランスフォーマー モデルに不確実性に基づくクエリ戦略を適用した場合、アクティブラーニングで競争力のある性能を達成できるか？
• RQ2 トランスフォーマーに基づくテキスト分類の文脈において、不確実性に基づくアクティブラーニングの性能は、他のクエリ戦略と比べてどうか？
• RQ3 不確実性に基づく戦略は、標準ベンチマークで高いモデル精度を維持しつつ、どの程度ラベリングコストを削減できるか？
• RQ4 少量のラベル付きデータしか使用しない場合、クエリ戦略の選択が学習曲線および最終的なモデル精度に与える影響はいかほどか？

主な発見

• 5つのテキスト分類ベンチマークにおいて、不確実性に基づくクエリ戦略は、先行手法と比較して学習曲線の下側面積が最大14.4パーセンテージポイント高い。
• 提案手法は、1つのベンチマークを除き、すべてのベンチマークで最終的な精度が最先端に近い水準に達しており、訓練データのわずか0.4%〜15%を用いている。
• 従来、トランスフォーマーに基づくアクティブラーニングで見られる実行時間のオーバーヘッドを効果的に軽減しており、実用的導入を可能としている。
• 性能向上は多様なテキスト分類タスクにわたり一貫しており、広範な適用可能性と頑健性を示している。
• 以前は他の戦略に劣っていた不確実性サンプリングが、微調整済みトランスフォーマーに適切に適応された場合、非常に効果的であることが実証された。
• モデル性能を損なわず、顕著なラベリングコストの削減が可能であり、実世界のNLPアプリケーションに適している。