[論文レビュー] HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models

Bernal Jiménez Gutiérrez, Yiheng Shu+3 more|arXiv (Cornell University)|May 23, 2024

Topic Modeling被引用数 20

ひとこと要約

HippoRAGは、神経生物学に着想を得た検索フレームワークを導入し、知識グラフと Personalized PageRank を用いて単一ステップのマルチホップ検索を可能にし、標準的な RAG 手法より精度と効率を向上させる。

ABSTRACT

In order to thrive in hostile and ever-changing natural environments, mammalian brains evolved to store large amounts of knowledge about the world and continually integrate new information while avoiding catastrophic forgetting. Despite the impressive accomplishments, large language models (LLMs), even with retrieval-augmented generation (RAG), still struggle to efficiently and effectively integrate a large amount of new experiences after pre-training. In this work, we introduce HippoRAG, a novel retrieval framework inspired by the hippocampal indexing theory of human long-term memory to enable deeper and more efficient knowledge integration over new experiences. HippoRAG synergistically orchestrates LLMs, knowledge graphs, and the Personalized PageRank algorithm to mimic the different roles of neocortex and hippocampus in human memory. We compare HippoRAG with existing RAG methods on multi-hop question answering and show that our method outperforms the state-of-the-art methods remarkably, by up to 20%. Single-step retrieval with HippoRAG achieves comparable or better performance than iterative retrieval like IRCoT while being 10-30 times cheaper and 6-13 times faster, and integrating HippoRAG into IRCoT brings further substantial gains. Finally, we show that our method can tackle new types of scenarios that are out of reach of existing methods. Code and data are available at https://github.com/OSU-NLP-Group/HippoRAG.

研究の動機と目的

• 標準的な RAG を超える LLM の長期記憶を動機づけるために、海馬の記憶インデックス付けをモデル化する。
• スキーマレスな知識グラフを人工的な海馬インデックスとして構築・利用する、3部構成の HippoRAG システムを提案する。
• 反復的な検索ベースラインより効率を向上させつつ、単一ステップのマルチホップ検索を実証する。
• HippoRAG が MuSiQue および 2WikiMultiHopQA でマルチホップ QA の性能を向上させ、IRCoT を補完することを示す。

提案手法

• オフラインインデックス作成は、OpenIE を用いてパッセージを schemaless knowledge graph に変換し、強力な指示チューニング済みの LLM を用いる。
• コサイン類似度が閾値を超えると、検索エンコーダを用いて KG に同義エッジを追加する。
• オンライン検索では、LLM でクエリエンティティを抽出し、検索エンコーダを用いてそれらを KG ノードにリンクする。
• クエリノードをシードとして KG 上で Personalized PageRank を実行し、スコア付き近傍を生成する。
• パッセージ全体で PPR の結果を集約してパッセージ検索スコアを得る。ノード特異性は局所的な IDF に類似した信号として機能する。
• PPRベースのランキングを用いて単一ステップのマルチホップ検索を可能にし、単一ステップおよびマルチステップのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 神経生物学に着想を得た KG と PPR 検索により、LLM の強化において単一ステップのマルチホップ検索を達成できるか？
• RQ2 標準的な RAG および IRCoT のベースラインと比較して、HippoRAG はマルチホップ QA ベンチマークでどのように性能を示すか？
• RQ3 KG 構築の選択肢（OpenIE、同義エッジ）と PPR の変種が検索と QA の性能に与える影響は？
• RQ4 HippoRAG は標準的なパス追従の質問を超えるパス探索型のマルチホップシナリオに効果的に対応できるか？

主な発見

• HippoRAG は MuSiQue および 2WikiMultiHopQA の単一ステップ検索で全ベースラインを上回る。
• HippoRAG は IRCoT のような反復検索と同等以上の性能を達成しつつ、オンライン時には 10–30x 安価で 6–13x 速い。
• 同じデータセットで HippoRAG と IRCoT を組み合わせると追加の性能向上が得られる。
• HippoRAG はパス追従型のマルチホップ QA で強い結果を示し、パス探索型のマルチホップ QA でも有望である。
• アブレーションは、ノード特異性と同義エッジが性能に寄与することを示し、OpenIE の品質が結果に大きく影響する。