[論文レビュー] When Life Gives You Lemons, Make Cherryade: Converting Feedback from Bad Responses into Good Labels

Weiyan Shi, Emily Dinan+3 more|arXiv (Cornell University)|Oct 28, 2022

Topic Modeling被引用数 4

ひとこと要約

この論文では、実世界のヒューマン・ボット対話におけるスパarsityなバイナリフィードバックと自由形式のテキストフィードバックを、満足度分類器と返信補正モデルを訓練することで、高品質な学習データに変換するフレームワーク「Juicer」を提案する。これらのモデル生成補正を対話モデルに組み込むことで、100%ゴールドフィードバックで微調整されたモデルと同等の性能を達成し、とくにDirectorモデルを組み合わせることで返信品質が向上する。

ABSTRACT

Deployed dialogue agents have the potential to integrate human feedback to continuously improve themselves. However, humans may not always provide explicit signals when the chatbot makes mistakes during interactions. In this work, we propose Juicer, a framework to make use of both binary and free-form textual human feedback. It works by: (i) extending sparse binary feedback by training a satisfaction classifier to label the unlabeled data; and (ii) training a reply corrector to map the bad replies to good ones. We find that augmenting training with model-corrected replies improves the final dialogue model, and we can further improve performance by using both positive and negative replies through the recently proposed Director model.

研究の動機と目的

• 展開済みの対話システムにおいて、ユーザーがバイナリの「いいね／悪いね」やゴールド補正をほとんど提供しないというスパarsityなフィードバックの課題に対処すること。
• ユーザーが不満を表明する際に一般的に提供される密度の高い自由形式テキストフィードバックを、モデル学習の信号として活用すること。
• フィードバックを用いて、悪いボット応答の高品質な補正を自動生成するフレームワークを開発すること。
• 展開中に収集された有機的で現実世界のフィードバック信号のみを用いて、対話モデルの性能を向上させること。
• モデル生成補正が、完全にゴールドアノテート済みデータで学習されたモデルと同等かそれ以上の性能を達成できるかどうかを評価すること。

提案手法

• 既存のバイナリフィードバックを用いて二値の満足度分類器を訓練し、ボットの応答が満足できるかどうかを予測する。
• 悪いボット出力とその問題を説明する自由形式テキストフィードバックを条件として、改善された忡答を生成する返信補正モデルを訓練する。
• 訓練済みの満足度分類器を用いて、データセット内のラベルなしボット応答をラベル付けし、フィードバックの範囲を拡大する。
• 満足度が低い出力に対して返信補正モデルを用いて補正応答を生成し、合成された高品質な学習例を作成する。
• 生成された補正を元の学習データに統合し、最終的な対話モデルを再訓練する。
• 正例と負例の両方の応答信号を同時に最適化することで、生成品質をさらに向上させるためにDirectorモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 自由形式のテキストフィードバックは、対話システムの満足度分類器および返信補正モデルの訓練に効果的に活用できるか？
• RQ2 モデル生成補正を用いて学習データを拡張することで、ゴールド補正のみを使用した場合と比較して、対話モデルの性能が向上するか？
• RQ3 JuicerとDirectorモデルの組み合わせにより、単体で使用する場合よりもさらに応答品質が向上するか？
• RQ4 100%ゴールドアノテート済みデータで学習されたモデルという上限性能と比較して、Juicerの性能はどの程度か？
• RQ5 満足度分類器の品質が、フィードバック変換パイプラインの下流性能にどの程度影響を与えるか？

主な発見

• 自由形式のテキストフィードバックは、満足度分類器および返信補正モデルの性能を顕著に向上させ、悪い応答の特定と補正を効果的に行える。
• ゴールド補正のみを使用する場合と比較して、モデル生成補正を用いた学習データ拡張により、有効かつ未検出のテストセットでF1スコアが向上（18.5 vs. 18.0）。
• Directorモデルを適用することでさらに性能が向上し、人間評価で45.5%の良い応答を達成。Juicer単体（41.9%）を上回る。
• 最良のJuicerモデルは、100%ゴールドデータで学習されたモデルと同等の結果を達成：F1スコア17.7（vs. 17.6）、人間評価で45.5%の良い応答（vs. 47.0%）。
• 最も信頼性の高い補正のみを選択するためのしきい値を用いることで性能が向上し、低品質な予測による劣化を回避できる。
• ベースラインが100%ゴールドラベルを使用しても、このフレームワークはそれを上回る性能を示し、スパarsityなフィードバックからの信号抽出が効果的であることを示している。