[論文レビュー] On the Complementarity of Data Selection and Fine Tuning for Domain Adaptation

Dan Iter, David Grangier|arXiv (Cornell University)|Sep 15, 2021

Topic Modeling参考文献 42被引用数 6

ひとこと要約

本論文は、ニューラル言語モデルおよび機械翻訳のドメイン適応におけるデータ選択とファインチューニングの補完性を調査する。特に、ファインチューニングされたBERTを用いた判別型ドメイン分類器を提案し、ターゲットドメインに類似しているが、過度に特化していない出域の事前学習データを選択することで、一般化性能が著しく向上し、対照的データ選択手法を上回ることを示している。特に、ファインチューニングと組み合わせた場合、その効果は顕著である。

ABSTRACT

Domain adaptation of neural networks commonly relies on three training phases: pretraining, selected data training and then fine tuning. Data selection improves target domain generalization by training further on pretraining data identified by relying on a small sample of target domain data. This work examines the benefit of data selection for language modeling and machine translation. Our experiments assess the complementarity of selection with fine tuning and result in practical recommendations: (i) selected data must be similar to the fine-tuning domain but not so much as to erode the complementary effect of fine-tuning; (ii) there is a trade-off between selecting little data for fast but limited progress or much data for slow but long lasting progress; (iii) data selection can be applied early during pretraining, with performance gains comparable to long pretraining session; (iv) data selection from domain classifiers is often more effective than the popular contrastive data selection method.

研究の動機と目的

• ニューラルモデルのドメイン適応におけるデータ選択とファインチューニングの補完性を分析すること。
• 言語モデルおよび機械翻訳における、特に対照的スコアリングと判別型ドメイン分類器の異なるデータ選択手法の有効性を評価すること。
• データ選択の最適なハイパーパrameter、すなわち選択サイズ、事前学習に対するタイミング、およびファインチューニング前の学習期間を特定すること。
• 実務家がパフォーマンス向上を最大化するために、いつ、どのようにデータ選択を適用すべきかについての実用的助言を提供すること。

提案手法

• 著者らは、一般化された出域データでの事前学習、そのデータのサブセットにおけるデータ選択、ターゲットドメインデータでのファインチューニングの3段階パイプラインを用いる。
• データ選択は、対照的スコアリング（例：文の埋め込みに基づく）または、小規模なドメイン内サンプルで訓練された判別型ドメイン分類器の両方を用いて実施される。
• 判別型分類器は、事前学習例がターゲットドメインに属するかどうかを予測するファインチューニング済みBERTモデルであり、スコアはデータのランク付けに用いられる。
• 研究は、さまざまな事前学習ステップと選択サイズにおいて、言語モデルおよびニューラル機械翻訳（En-DeおよびEn-Fr）の両方で選択手法を評価する。
• 一般化性能は、ファインチューニング後のターゲットドメインデータにおけるバリデーション損失で測定され、選択サイズ、タイミング、モデルタイプに関するアブレーションスタディが実施される。
• 選択手法の比較は、保持されたドメイン内／出域データにおけるバイナリ分類の正確性と、ランク付けされた選択リストにおけるドメイン内例の平均分位数を用いて行われる。

実験結果

リサーチクエスチョン

• RQ1 選択されたデータとファインチューニング用データとの類似性が、データ選択とファインチューニングの補完性に与える影響は何か？
• RQ2 一般化性能と学習速度の観点から、少量の高品質データを選択するのと、より多くの低品質データを選択するのとの間のトレードオフは何か？
• RQ3 対照的スコアリングと判別型ドメイン分類器の両方のデータ選択手法の選択が、下流タスクのパフォーマンスに与える影響は何か？
• RQ4 事前学習の初期段階でデータ選択を適用することで、合計の学習時間を短縮しつつパフォーマンスを維持できるか？
• RQ5 ファインチューニングのみと比較して、データ選択は一般化性能をどの程度向上させるか。また、パフォーマンスを低下させる場面はいつか？

主な発見

• 判別型ドメイン分類器、特にファインチューニングされたBERTは、言語モデルおよび機械翻訳の両方で、対照的データ選択手法を一貫して上回り、MTタスクで93.51%のバイナリ分類正確性を達成した。
• ドメイン分類器からのデータ選択は、対照的選択よりも一般化性能が優れており、ターゲット学習セットへの過学習が顕著に見られるため、高いバリデーション損失を示していることが裏付けられている。
• 対照的スコアリングで上位100万例のみを選択すると、より精度は低いが多様性に富んだ手法でより多くのデータを選択するよりも、一般化性能が劣る。
• データ選択は、事前学習を20万ステップ目で実施しても、長期間にわたって事前学習されたモデルと同等のパフォーマンスを達成できる。
• データ選択とファインチューニングの組み合わせは、ファインチューニングのみを上回る場合があるが、選択されたデータが十分に補完的である場合に限る。補完性が不足していると、パフォーマンスはファインチューニングのみのベースラインを下回る場合がある。
• ファインチューニング前の選択データのパフォーマンスに対する短時間の診断は誤解を招く。小規模なサブセットは速く収束するが過学習しやすく、大規模なサブセットは一般化性能に優れるが、より多くの学習ステップを要する。