[論文レビュー] Learning New Skills after Deployment: Improving open-domain internet-driven dialogue with human feedback

Jing Xu, Megan Ung+4 more|arXiv (Cornell University)|Aug 5, 2022

Topic Modeling被引用数 6

ひとこと要約

本論文は、実際の人の対話において収集された多様な人間のフィードバック（モジュール型エラーの注釈、2値評価、自由形式の提案など）を活用して、展開後も性能を向上させる継続的学習フレームワークを提案する。モジュール型および2値フィードバックで微調整されたDirectorモデルは、最先端の結果を達成し、繰り返し再訓練を施すことでさらに性能が向上する。また、小規模モデルからのフィードバックが、OPT-175Bのような大規模モデルの性能向上に効果的に寄与することが示された。

ABSTRACT

Frozen models trained to mimic static datasets can never improve their performance. Models that can employ internet-retrieval for up-to-date information and obtain feedback from humans during deployment provide the promise of both adapting to new information, and improving their performance. In this work we study how to improve internet-driven conversational skills in such a learning framework. We collect deployment data, which we make publicly available, of human interactions, and collect various types of human feedback -- including binary quality measurements, free-form text feedback, and fine-grained reasons for failure. We then study various algorithms for improving from such feedback, including standard supervised learning, rejection sampling, model-guiding and reward-based learning, in order to make recommendations on which type of feedback and algorithms work best. We find the recently introduced Director model (Arora et al., '22) shows significant improvements over other existing approaches.

研究の動機と目的

• 標準的な事前学習および微調整後、展開中に収集したフィードバックを用いて対話エージェントが新しいスキルを学習できるかどうかを調査すること。
• モジュール型、2値、自由形式、障害タイプの注釈など、異なる種類のフィードバックがモデル性能に与える効果を評価すること。
• フィードバック統合のための学習アルゴリズム（教師あり微調整、拒否サンプリング、モデルガイドリング、報酬ベース学習）を比較すること。
• 小規模モデル（3Bパラメータ）から収集したフィードバックが、はるかに大規模なモデル（175Bパラメータ）の性能向上に寄与するかどうかを評価すること。
• 以前の展開ラウンドから得たフィードバックをもとにモデルを再訓練する反復的・継続的学習ループを検討すること。

提案手法

• アマゾンMechanical Turkに3Bパラメータの対話エージェントを展開し、クラウドワーカーからの対話とフィードバックを収集した。
• 3種類のフィードバックを収集した：2値（良い／悪い）、自由形式のテキストフィードバック、障害タイプ（検索、結果、応答ベース）を特定するモジュール型フィードバック。
• 教師あり微調整、拒否サンプリング、モデルガイドリング、報酬ベース学習の複数の学習手法を訓練・比較した。
• 近年導入されたDirectorモデル（Arora et al., 2022）を2値フィードバック学習に用い、他の手法を上回る性能を達成した。
• 反復的展開を実装：前回のラウンドから得たフィードバックをもとにモデルを再訓練（v1 → v2）し、継続的改善を可能にした。
• 小規模な3Bモデルから収集したフィードバックを用いて、175Bパラメータのモデル（BlenderBot 3）を微調整し、フィードバックの転送可能性を示した。

実験結果

リサーチクエスチョン

• RQ1 実際の人の対話から得たフィードバックを用いて、展開後に対話エージェントが新しい会話スキルを学習できるか？
• RQ2 モジュール型、2値、自由形式のうち、どの人間のフィードバックが対話性能の向上に最も効果的か？
• RQ3 異なる学習アルゴリズム（例：Director、報酬ベース学習、教師あり微調整）は、対話の改善にフィードバックをどう活用するか、どのように比較されるか？
• RQ4 以前の展開ラウンドから得たフィードバックをもとに反復的・継続的に再訓練することで、測定可能な性能向上が得られるか？
• RQ5 3Bパラメータの小さなモデルから収集したフィードバックが、175Bパラメータのはるかに大きなモデルを効果的に改善できるか？
• RQ6 障害タイプ分類などのフィードバックの粒度が、モデル性能に与える影響は何か？

主な発見

• 特に検索、結果、応答ベースのエラーを特定するモジュール型フィードバックは、最終応答のみに対するフィードバックよりも顕著に優れた性能を示した。
• 2値フィードバックで微調整されたDirectorモデルは、再ランキングや報酬ベース学習手法よりも優れた性能を達成した。
• Directorモデルを用いてモジュール型と2値フィードバックを統合した場合、自動評価および人間評価の両方で最高の全体的な結果が得られた。
• 以前の展開ラウンドから得たフィードバックをもとに反復的再訓練（v1 → v2）を実施したことで、顕著な性能向上が見られ、継続的学習の価値が裏付けられた。
• 3Bパラメータのモデルから収集したフィードバックが、175Bパラメータのモデル（BlenderBot 3）の性能向上に寄与し、人間評価では64.8％の応答率と平均4.08のスコアを達成した。
• 強力な向上が見られたにもかかわらず、最高のモデル（例：BB3-175B）ですら事実誤認や矛盾を生じる場合があるため、継続的なフィードバック収集によるさらなる改善の余地がある。