[論文レビュー] Think-in-Memory: Recalling and Post-thinking Enable LLMs with Long-Term Memory

Lei Liu, Xiaoyan Yang+5 more|arXiv (Cornell University)|Nov 15, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、想起と後続思考を通じて思考を保存・進化させることで、長期記憶を実現する、LLMに依存しない外部記憶メカニズムであるThink-in-Memory（TiM）を提案する。履歴の繰り返しの理由付けを排除することで、TiMは長期間にわたる会話における応答の一貫性とパフォーマンスを向上させ、ベースラインと比較して、最大97.3％のトップ10検索精度を達成するとともに、検索時間を0.1ms短縮する。

ABSTRACT

Memory-augmented Large Language Models (LLMs) have demonstrated remarkable performance in long-term human-machine interactions, which basically relies on iterative recalling and reasoning of history to generate high-quality responses. However, such repeated recall-reason steps easily produce biased thoughts, extit{i.e.}, inconsistent reasoning results when recalling the same history for different questions. On the contrary, humans can keep thoughts in the memory and recall them without repeated reasoning. Motivated by this human capability, we propose a novel memory mechanism called TiM (Think-in-Memory) that enables LLMs to maintain an evolved memory for storing historical thoughts along the conversation stream. The TiM framework consists of two crucial stages: (1) before generating a response, a LLM agent recalls relevant thoughts from memory, and (2) after generating a response, the LLM agent post-thinks and incorporates both historical and new thoughts to update the memory. Thus, TiM can eliminate the issue of repeated reasoning by saving the post-thinking thoughts as the history. Besides, we formulate the basic principles to organize the thoughts in memory based on the well-established operations, ( extit{i.e.}, insert, forget, and merge operations), allowing for dynamic updates and evolution of the thoughts. Furthermore, we introduce Locality-Sensitive Hashing into TiM to achieve efficient retrieval for the long-term conversations. We conduct qualitative and quantitative experiments on real-world and simulated dialogues covering a wide range of topics, demonstrating that equipping existing LLMs with TiM significantly enhances their performance in generating responses for long-term interactions.

研究の動機と目的

• 同じ履歴を繰り返し想起することで生じる記憶拡張型LLMにおける推論の一貫性の欠如という問題に取り組む。
• 冗長な推論を回避するため、歴史的思考の進化した記憶をLLMが維持できるようにする。
• LLMアーキテクチャに依存しない記憶メカニズムを設計し、動的記憶更新をサポートする。
• 現実世界およびシミュレートされた対話における長期的応答品質と一貫性を向上させる。
• スケーラブルな長文脈対話に適した、局所性に敏感なハッシュ（LSH）を用いた効率的検索を導入する。

提案手法

• 二段階のプロセスを導入する：(1) 応答生成の前に記憶から関連する思考を想起し、(2) 生成後に後続思考を行い、記憶を更新する。
• 挿入、忘却、統合の3つの基本操作を用いて、記憶内の思考を保存・進化させ、動的記憶進化を可能にする。
• 長期間にわたる記憶における関連する思考の検索を高速化するために、局所性に敏感なハッシュ（LSH）を適用する。
• 一貫性とスケーラビリティを確保するため、記憶内の思考を、確立された原則に従って整理する。
• アーキテクチャの変更なしに既存のLLMと統合可能であり、LLMに依存しない展開を実現する。
• 計算コストを低減するために、LSHで最適化された埋め込みベースの類似度マッチングを検索に用いる。

実験結果

リサーチクエスチョン

• RQ1 記憶に保存・進化させる思考のメカニズムが、長期間の会話におけるLLMの推論の一貫性を低下させることができるか？
• RQ2 応答生成後に後続思考を行うことで、記憶の質と応答の一貫性はどのように向上するか？
• RQ3 TiMは、現実世界の医療対話およびマルチドメイン対話において、応答の正確性と文脈的一致性をどの程度向上させることができるか？
• RQ4 標準的なペairwise類似度計算と比較して、TiMの検索メカニズムはどの程度効率的か？
• RQ5 中国語および英語の対話も含む多様なドメインにおいて、TiMはベースラインの記憶メカニズムを上回るか？

主な発見

• TiMは、KdConv（映画、音楽、旅行）およびRMD（現実的患者-医師対話）を含む、すべての評価データセットで応答の正確性と文脈的一致性を顕著に向上させた。
• KdConvデータセットでは、TiMがトップ10検索精度97.3％を達成し、関連する歴史的思考を効果的に検索できることを示した。
• TiMは、ベースラインのペアワイズ類似度計算と比較して、1クエリあたり約0.1msの検索時間を短縮し、効率性の向上を示した。
• TiMの性能向上は中国語対話において英語対話よりも顕著であり、言語固有の利点が存在する可能性を示唆した。
• 現実世界の医療応用において、TiMを搭載したエージェントは、重要な症状の忘却を回避し、より正確で包括的な診断を可能にした。
• 定性的な結果から、TiMは人間の記憶ワークフローを模倣することで、LLMがより人間らしく、一貫性があり、文脈的に整合性のある応答を生成するのを支援することがわかった。