[論文レビュー] MemoChat: Tuning LLMs to Use Memos for Consistent Long-Range Open-Domain Conversation

Junru Lu, Siyu An+6 more|arXiv (Cornell University)|Aug 16, 2023

Topic Modeling被引用数 5

ひとこと要約

MemoChat は、反復的な記憶−検索−応答サイクルを通じて自己生成・構造化されたメモを生成・利用することで、大規模言語モデル（LLMs）が長距離で開かれたドメインの会話において一貫性を保てるようにするインstructチューニングパイプラインを導入する。専門家がアノテートしたベンチマークで評価した結果、特に長距離リ콜およびトピック間理解タスクにおいて、ChatGPT や GPT-4 といった強力なベースラインを上回る応答の一貫性を実現した。

ABSTRACT

We propose MemoChat, a pipeline for refining instructions that enables large language models (LLMs) to effectively employ self-composed memos for maintaining consistent long-range open-domain conversations. We demonstrate a long-range open-domain conversation through iterative "memorization-retrieval-response" cycles. This requires us to carefully design tailored tuning instructions for each distinct stage. The instructions are reconstructed from a collection of public datasets to teach the LLMs to memorize and retrieve past dialogues with structured memos, leading to enhanced consistency when participating in future conversations. We invite experts to manually annotate a test set designed to evaluate the consistency of long-range conversations questions. Experiments on three testing scenarios involving both open-source and API-accessible chatbots at scale verify the efficacy of MemoChat, which outperforms strong baselines. Our codes, data and models are available here: https://github.com/LuJunru/MemoChat.

研究の動機と目的

• 大規模言語モデル（LLMs）が入力コンテキストの制限を超えて記憶保持に失敗するため、長距離で開かれたドメインの会話において文脈的一致性を維持することが難しいという課題に対処すること。
• 外部メモリモジュールやリtrievalシステムに依存しないようにし、会話中に LLM が自律的に構造化されたメモを生成・利用できるようにすること。
• LLMs がメモ作成、メモ検索、メモを用いた応答生成という3つのコアタスクを実行できるようにする、スケーラブルでインstructチューニングに基づくパイプラインを開発すること。
• 特にトピックのシフトや長時間スケールの質問に対して、一貫性を測定できる標準化された専門家がアノテートした評価ベンチマークを確立すること。
• ファインチューニングされたオープンソース LLM が、効果的なインstructチューニングにより、GPT-4 などの API アクセス可能なモデルと同等またはそれ以上の性能を一貫性ベンチマークで達成できることを実証すること。

提案手法

• 長期間の会話の構造化のため、'記憶−検索−応答'ループに基づいた三段階のパイプライン（記憶、検索、応答）を設計する。
• 公開データセットからタスク固有の指示を再構築し、LLMs をファインチューニングして、過去の会話ターンを要約するメモ作成、新しい質問に適した関連メモを検索する、およびメモを踏まえた応答生成を実行させる。
• トピック＋主要ポイントといった構造化されたメモ形式を採用することで、検索の正確性を向上させ、長距離コンテキストにおける幻覚を低減する。
• 収集済みの指示データを用いた教師ありファインチューニングにより、オープンソース LLM（例：Vicuna、T5）および API アクセス可能なモデル（例：ChatGPT、GPT-4）をファインチューニングする。
• LLM 裁判官を用いて、3種類の長距離質問（回想、接続、複数ターンのトピックリコール）を含む収集済みの専門家がアノテートしたテストセット上で応答の一貫性を評価する。
• ゼロショットおよびフェイントショットプロンプティングを用いてベースライン性能を評価し、MPC-ChatGPT や MemoryBank-ChatGPT といった強力なベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 LLMs は、長距離で開かれたドメインの会話において一貫性を保つために、自律的に構造化されたメモを生成・利用できるように効果的にファインチューニング可能だろうか？
• RQ2 インstructファインチューニングされた LLM は、記憶の想起を要する長距離でトピックが跨る質問を処理する際、ChatGPT や GPT-4 といった強力なベースラインと比べてどの程度優れているだろうか？
• RQ3 モデルのスケールやファインチューニングデータサイズが、LLMs がメモベースの推論を学習・適用する能力にどの程度影響を与えるだろうか？
• RQ4 外部ツールを一切使用しない LLM ネイティブなパイプラインは、外部リトリーブやメモリモジュールを用いるシステムと同等の性能を達成できるだろうか？
• RQ5 提案された専門家がアノテートした評価セットは、多様な長距離会話シナリオにおける応答の一貫性を測定するためにどの程度効果的だろうか？

主な発見

• MemoChat は、長距離質問における応答の一貫性において、MPC-ChatGPT や MemoryBank-ChatGPT といった強力なベースラインを平均して 7.0 から 19.5 ポイント上回った。
• MemoChat-Vicuna-13B（1k 件のサンプルでファインチューニング）は、回想質問で 64.78 の応答一貫性スコアを達成し、より大きな MemoChat-Vicuna-33B（1k）を 3.3 ポイント上回った。これは、より少ないデータでも良好な一般化性能を示している。
• 完全にファインチューニングされたオープンソースモデル（例：10k 件のサンプルでファインチューニングされた MemoChat-Vicuna-33B）は、ChatGPT-2k や GPT-4 と比較して平均的に一貫性が高く、ChatGPT-2k よりも平均で 9.7 ポイントの改善を示した。
• 事例研究では、MemoChat-ChatGPT は独占禁止法と機械学習を正しく関連づけており、一方で ChatGPT-2k は質問を完全に誤解していた。これは、より優れたトピック間推論能力を示している。
• MemoChat-Vicuna-33B（10k）は、複雑な接続質問で LLM 裁判官スコア 90 を達成したのに対し、GPT-4 は 100 であった。これは、マルチホップ推論において優れた性能を示している。
• 1k のトレーニングサンプルのみで、MemoChat-Vicuna-13B はメモ作成および検索タスクで、より小さなモデルと比較して 15〜30 ポイントの性能差を示した。これは、強力な few-shot 学習能力を示している。