[論文レビュー] Towards Teachable Reasoning Systems: Using a Dynamic Memory of User Feedback for Continual System Improvement

Bhavana Dalvi, Oyvind Tafjord+1 more|arXiv (Cornell University)|Apr 27, 2022

Topic Modeling被引用数 13

ひとこと要約

本論文では、再訓練を伴わずに質問応答性能を継続的に向上させるために、ユーザーのフィードバックを動的メモリに保存する教えることのできる推論システムTeachMeを提案する。新しいクエリの文脈にユーザー訂正済みの事実を統合することで、誤ったモデルの信念を上書きし、実際のユーザーとのインタラクション後、隠しテストセットで15%以上の性能向上を達成した。これは、ユーザーのフィードバックを用いた継続的学習の有効性を示している。

ABSTRACT

Our goal is a teachable reasoning system for question-answering (QA), where a user can interact with faithful answer explanations, and correct its errors so that the system improves over time. Our approach is to augment a QA model with a dynamic memory of user feedback, containing user-supplied corrections to erroneous model beliefs that users identify during interaction. Retrievals from memory are used as additional context for QA, to help avoid previous mistakes in similar new situations - a novel application of memory-based continuous learning. With simulated feedback, we find that our system (called TeachMe) continually improves with time, and without model retraining, requiring feedback on only 25% of training examples to reach within 1% of the upper-bound (feedback on all examples). Similarly, in experiments with real users, we observe a similar trend, with performance improving by over 15% on a hidden test set after teaching. This suggests new opportunities for using frozen language models in an interactive setting where users can inspect, debug, and correct the model's beliefs, leading to improved system's performance over time.

研究の動機と目的

• ユーザーがモデルの信念を検査・デバッグ・修正できるインタラクティブなフィードバックを通じて、教えることのできる推論システムを開発すること。
• 下位の凍結された言語モデルを再訓練せずに、時間の経過とともに継続的に改善するシステムを実現すること。
• ユーザーが提供する訂正とモデル内部の信念を統合し、体系的な推論と誤り回避を実現すること。
• 模擬的および実際のユーザーのフィードバックを用いた現実的なインタラクティブな設定で、アプローチを評価すること。
• ユーザーのフィードバックを推論時にメモリ検索によって活用することで、未観測の質問に対する一般化性能を向上させられることを実証すること。

提案手法

• 誤ったモデルの信念に対するユーザーが提供した訂正を保存する動的メモリを、凍結されたQAモデルに拡張する。
• 推論時にメモリからの検索を追加の文脈として使用し、誤った推論経路を上書きする。
• 含意に基づく推論チェーンを生成することで、モデルの信念と誤りをユーザーに透明にする。
• ユーザーが説明内の誤りを特定・修正でき、その訂正を将来的に使用するためのメモリに保存する。
• 静的知識ソースではなく、ユーザーが生成した事実を用いる、リtrieバル増強生成（RAG）の原則を応用する。
• 微調整なしに、モデルが訂正済みの信念に偏る、永続的かつランタイムで更新されるメモリを維持する。

実験結果

リサーチクエスチョン

• RQ1 教えることのできるQAシステムは、再訓練を伴わず、ユーザーのフィードバックによって時間の経過とともに改善できるか？
• RQ2 動的メモリに保存されたユーザーのフィードバックは、モデルの誤りを是正し、未観測の質問に対するパフォーマンスを向上させるのにどの程度効果的か？
• RQ3 推論時にユーザーの訂正をどの程度活用できるか、過去の誤りを繰り返さないよう防止できるか？
• RQ4 特に一部のフィードバックのみが使用される場合に、ユーザーのフィードバックの件数に応じてシステムのパフォーマンスがどのようにスケーリングするか？
• RQ5 実際のユーザーとのインタラクションは、隠しテストセットにおけるシステムパフォーマンスに測定可能で一般化可能な改善をもたらすか？

主な発見

• 模擬フィードバックを用いた実験では、ゴールのフィードバックアノテーションの25%のみを用いても、上界パフォーマンスの1%以内に達し、高いデータ効率を示した。
• 実ユーザー実験では、ユーザーが少数のトレーニング質問について教えた後、隠しテストセットで15%以上の向上を達成した。
• モデルを凍結したまま、ユーザーのフィードバックからのランタイムコンテキストインジェクションによって継続的な改善を実現した。
• メモリからユーザー訂正済みの事実を検索することで、誤ったモデルの信念が効果的に上書きされ、類似する新しい質問に対する推論が改善された。
• 模擬的および現実世界の両設定で実現可能性が示され、インタラクティブでユーザー主導の継続的学習の強力な可能性を示した。
• フィードバックが希な状況でもパフォーマンス向上が維持されたことから、重要な誤解を早期に是正することで、誤りの連鎖的発生を防げる可能性があることが示された。