[論文レビュー] Goldilocks: Just-Right Tuning of BERT for Technology-Assisted Review

Eugene Yang, Sean MacAvaney+2 more|arXiv (Cornell University)|May 3, 2021

Topic Modeling被引用数 6

ひとこと要約

本稿は、高再現率の検索タスクにおける技術支援レビュー（TAR）におけるファインチューニング済み BERT の評価を行い、適切な言語モデル（LM）ファインチューニング—すなわち、あまりにも少ないか、あまりにも多すぎるファインチューニングでない—がパフォーマンスに不可欠であることを示している。驚くべきことに、BERT はドメイン内 RCV1-v2 データではレビュー費用を 10–15% 削減したが、ドメイン外の法的メールデータでは線形モデルに劣り、モデルアーキテクチャそのものよりもドメインの整合性と最適なファインチューニングが重要であることが浮き彫りになった。

ABSTRACT

Technology-assisted review (TAR) refers to iterative active learning workflows for document review in high recall retrieval (HRR) tasks. TAR research and most commercial TAR software have applied linear models such as logistic regression to lexical features. Transformer-based models with supervised tuning are known to improve effectiveness on many text classification tasks, suggesting their use in TAR. We indeed find that the pre-trained BERT model reduces review cost by 10% to 15% in TAR workflows simulated on the RCV1-v2 newswire collection. In contrast, we likewise determined that linear models outperform BERT for simulated legal discovery topics on the Jeb Bush e-mail collection. This suggests the match between transformer pre-training corpora and the task domain is of greater significance than generally appreciated. Additionally, we show that just-right language model fine-tuning on the task collection before starting active learning is critical. Too little or too much fine-tuning hinders performance, worse than that of linear models, even for a favorable corpus such as RCV1-v2.

研究の動機と目的

• ファインチューニング済み BERT が反復的アクティブラーニング設定における技術支援レビュー（TAR）ワークフローにどの程度有効であるかを評価すること。
• 言語モデルファインチューニングの程度が高再現率検索タスクにおけるパフォーマンスに与える影響を調査すること。
• BERT ベースのモデルと従来の線形モデル（例：ロジスティック回帰）を、レビュー費用と有効性の観点から比較すること。
• 長期間にわたる反復的プロセスを伴う実世界の TAR アプリケーションにおける BERT の計算コストを評価すること。
• BERT が高コストなトレーニングと推論を伴うにもかかわらず、どのような条件下でコスト優位性を発揮するかを特定すること。

提案手法

• タスク固有のラベルなしコーパスを用いたマスクド言語モデル学習により、アクティブラーニングの前段階で BERT をファインチューニングし、ファインチューニングエポック数を変化させた。
• 各 TAR ランを 1 つの正例から開始し、不確実性サンプリングと関連性フィードバックを用いた反復的アクティブラーニングを実施した。
• 複数のトピックとコレクションにわたって、レビュー費用（レビューされた文書数）を主な指標としてモデルのパフォーマンスを評価した。
• 同じアクティブラーニングプロトコルを用いて、語彙的特徴およびメタデータ特徴に基づいてトレーニングされたロジスティック回帰モデルと BERT を比較した。
• 複数の反復にわたって、LM ファインチューニングとドキュメントスコアリングの時間を含む計算コストを測定した。
• ドメイン感受性を評価するために、2 つのデータセット（RCV1-v2（ドメイン内）および Jeb Bush メールコレクション（ドメイン外））を用いた。

実験結果

リサーチクエスチョン

• RQ1 反復的アクティブラーニングを伴う TAR ワークフローにおいて、ファインチューニング済み BERT は従来の線形モデルを上回るか？
• RQ2 TAR における BERT の最適な言語モデルファインチューニング量は何か？ また、その影響はパフォーマンスにどのように現れるか？
• RQ3 BERT の事前学習コーパスとタスクコレクションとの間のドメイン不一致が、モデルの有効性に与える影響は何か？
• RQ4 BERT を TAR で使用する計算コストはどれほどで、わずかな効果向上に見合うものか？
• RQ5 異なるサンプリング戦略（不確実性 vs. 関連性フィードバック）は、BERT ファインチューニングおよびタスク特性とどのように相互作用するか？

主な発見

• 最適なエポック数でファインチューニングされた BERT は、ドメイン内 RCV1-v2 コレクションではロジスティック回帰を上回り、レビュー費用を 10–15% 減少させた。
• ドメイン外の Jeb Bush メールコレクションでは、ファインチューニング後でさえも BERT は線形モデルに劣り、ドメイン不一致が有効性を著しく制限することが示された。
• ファインチューニングが少なすぎても多すぎても BERT のパフォーマンスが低下し、極端な状況で最も悪い結果が得られた。これはファインチューニングに「ゴールディロックスのゾーン」が存在することを示唆している。
• BERT の計算コストは非常に高く、1 ランあたり平均 18 時間（1100 分）にのぼり、スコアリングの各反復が 40 分程度を要した。これは小規模プロジェクトには現実的でない。
• ファインチューニングエポック数に応じたレビュー費用の推移は、特に困難でレアなカテゴリで顕著に変化し、トピックごとに普遍的な最適設定は存在しないことが示された。
• わずかな有効性の向上があるものの、BERT の高い計算コストは、多くの実世界の TAR アプリケーション、特に一度きりの使用にとどまるモデルでは採用を妨げる可能性がある。