[論文レビュー] Analyzing the Forgetting Problem in the Pretrain-Finetuning of Dialogue Response Models

Tianxing He, Jun Liu+5 more|arXiv (Cornell University)|Oct 16, 2019

Topic Modeling参考文献 39被引用数 12

ひとこと要約

この論文は、pretrain-finetuneフレームワークにおける標準的な微調整が、大規模な事前学習中に習得した、知識抽出や文脈感受性といった重要な言語生成スキルを会話応答モデルが忘却することを特定している。これを緩和するために、著者らは事前学習データとターゲットタスクデータを交互に組み合わせる「mix-review」微調整を提案し、忘却を顕著に軽減し、より情報豊かで文脈に配慮した、知識を豊富に含む応答を生成できるようにしている。

ABSTRACT

In this work, we study how the finetuning stage in the pretrain-finetune framework changes the behavior of a pretrained neural language generator. We focus on the transformer encoder-decoder model for the open-domain dialogue response generation task. Our major finding is that after standard finetuning, the model forgets some of the important language generation skills acquired during large-scale pretraining. We demonstrate the forgetting phenomenon through a set of detailed behavior analysis from the perspectives of knowledge transfer, context sensitivity, and function space projection. As a preliminary attempt to alleviate the forgetting problem, we propose an intuitive finetuning strategy named "mix-review". We find that mix-review effectively regularizes the finetuning process, and the forgetting problem is alleviated to some extent. Finally, we discuss interesting behavior of the resulting dialogue model and its implications.

研究の動機と目的

• pretrain-finetuneフレームワークにおける標準的微調整が、事前学習中に習得した重要な言語生成スキルを大規模言語モデルが忘却するかどうかを調査すること。
• 微調整が知識移転、文脈感受性、関数空間への射影という観点からモデル行動にどのように影響を与えるかを分析すること。
• 標準的微調整の後、情報豊かで知識を豊富に含む応答を生成する能力が低下するかどうかを評価すること。
• 忘却問題を緩和するための新しい微調整戦略「mix-review」を提案し、その有効性を評価すること。
• 忘却の影響が、オープンドメイン会話システムに与える影響、特に悪意のあるプロンプトへの脆弱性や、データ駆動型のパーソナライゼーションの可能性を検討すること。

提案手法

• 著者らは、標準的な交差エントロピー損失と負の対数尤度最適化を用いて、オープンドメイン会話データセット上で微調整されたトランスフォーマーのエンコーダーデコーダーモデルを用いている。
• 行動分析を3つの次元で実施している：知識移転（例：常識的質問への回答）、文脈感受性（会話のターンごとの応答のばらつき）、関数空間への射影（入力表現が出力空間にどのように写像されるか）。
• mix-review戦略では、微調整中に事前学習データとターゲット会話データを固定比率で交互に使用することで、最適化プロセスを正則化している。
• 応答生成には、ビームサーチとは異なり、top-kサンプリング（k=30）を用いて応答の多様性を向上させている。
• 性能評価には標準的な指標と、生成された応答の定性的分析（10件のサンプルから選んだ例を含む）を用いている。
• モデルはDailyDialogデータセットで微調整され、性能低下の検出のため、会話データと事前学習データの両方で動作をテストしている。

実験結果

リサーチクエスチョン

• RQ1 pretrain-finetuneフレームワークにおける標準的微調整は、事前学習中に習得した言語生成スキルに深刻な忘却を引き起こすか？
• RQ2 会話データへの微調整後、事前学習から得た知識の移転能力がどの程度低下するか？
• RQ3 微調整後、モデルの会話文脈への感受性はどのように変化するか？また、これは応答品質や安全性に影響を与えるか？
• RQ4 微調整中に事前学習データと会話データを交互に使用することで、忘却を軽減し、有用な生成行動を保持できるか？
• RQ5 忘却の影響は、知識豊富で安全かつパーソナライズ可能な会話エージェントの構築にどのような意味を持つのか？

主な発見

• 標準的微調整後、モデルは事前学習データで顕著な性能低下を示しており、これは常識的質問への回答や事実の抽出といったスキルの忘却を示している。
• 微調整済みモデルは、事前学習モデルが対応できたような知識用語（例：「PhD」、「news」）について、詳細な応答や情報豊かな応答を生成できず、知識移転能力の喪失が確認された。
• mix-review微調整戦略は、事前学習データでの性能向上と、文脈感受性・知識抽出の維持の両面で、忘却の軽減が有効であることを裏付けている。
• mix-reviewで訓練されたモデルは、ターゲットデータセットが知識を豊富に含まない場合でも、多様で文脈的に適切で情報豊富な応答（例：助言の提供、意見表明）を生成する。
• mix-reviewで訓練されたモデルは、会話文脈への感受性が向上しており、ターゲットデータセット内にそのようなコンテンツが存在しなくても、ニュースや個人的助言といったトピックでの複数ターンの対話を可能としている。
• 改善は見られるが、mix-review法でも多くの場合、退屈な応答や情報のない応答が生成されることがあり、さらなる改善の余地がある。