[論文レビュー] Is Your Language Model Ready for Dense Representation Fine-tuning?

Luyu Gao, Jamie Callan|arXiv (Cornell University)|Apr 16, 2021

Topic Modeling参考文献 15被引用数 9

ひとこと要約

本論文では、低リソース環境における密度表現の微調整に影響を与える重要な要因として「最適化準備度」を導入し、微調整中に密度表現を通じて知識を露わにできる能力を向上させるpre-trainingアーキテクチャ「Condenser」を提案する。最適化準備度を向上させることで、小規模またはノイズの多いデータセットにおける性能が顕著に向上する。

ABSTRACT

Pre-trained language models (LM) have become go-to text representation encoders. Prior research used deep LMs to encode text sequences such as sentences and passages into single dense vector representations. These dense representations have been used in efficient text comparison and embedding-based retrieval. However, dense encoders suffer in low resource situations. Many techniques have been developed to solve this problem. Despite their success, not much is known about why this happens. This paper shows that one cause lies in the readiness of the LM to expose its knowledge through dense representation in fine-tuning, which we term Optimization Readiness. To validate the theory, we present Condenser, a general pre-training architecture based on Transformer LMs, to improve dense optimization readiness. We show that fine-tuning from Condenser significantly improves performance for small and/or noisy training sets.

研究の動機と目的

• 密度表現の微調整が低リソースまたはノイズの多い学習状況で性能を発揮しない理由を調査すること。
• このような条件下で密度エンコーダーの性能が著しく低下する根本的要因を特定すること。
• 微調整中に密度表現を通じて知識を露わにできる能力を向上させるための解決策を提案すること。
• 提案手法の有効性を小規模およびノイズの多い学習データセット上で検証すること。

提案手法

• 微調整中に言語モデルが密度表現を通じて知識を露わにできる能力、すなわち「最適化準備度」を定義する。
• 最適化準備度を向上させるための一般化されたpre-trainingアーキテクチャ「Condenser」を、Transformer LMsに基づいて設計する。
• 入力テキストとその密度ベクトル表現との間の整合性を強化する自己教師あり目的関数を用いてCondenserを訓練する。
• 限られたまたはノイズの多いデータで、下流タスクにCondenserを微調整し、リtrievalおよびテキスト比較ベンチマークで性能を評価する。
• 低リソース条件下で、標準的なpre-trained言語モデルと比較してCondenserの性能を評価する。
• アブレーションスタディを用いて、最適化準備度が下流性能に与える影響を検証する。

実験結果

リサーチクエスチョン

• RQ1 なぜ密度エンコーダーは低リソースまたはノイズの多い学習状況で性能を発揮しないのか？
• RQ2 言語モデルが密度表現を通じて知識を露わにできる準備度が、微調整性能にどの程度影響を与えるのか？
• RQ3 最適化準備度を向上させることで、小規模またはノイズの多い学習セットでの性能向上が達成できるか？
• RQ4 提案されたCondenserアーキテクチャは、標準的なpre-trainedモデルと比較して、低リソース環境でどのように異なるか？

主な発見

• 最適化準備度は、低リソース環境における密度表現の微調整性能に影響を与える重要な要因である。
• 最適化準備度を向上させるように設計されたCondenserは、小規模およびノイズの多い学習セットで顕著な性能向上を達成する。
• 複数のリtrievalおよびテキスト比較ベンチマークで一貫した改善が得られた。
• アブレーションスタディにより、向上した最適化準備度が下流性能の向上に直接寄与することが確認された。
• 限られたまたは不完全なデータで微調整された場合、標準的なpre-trained言語モデルよりも本手法が優れた性能を発揮した。