[論文レビュー] LightRAG: Simple and Fast Retrieval-Augmented Generation

Zirui Guo, Lianghao Xia+3 more|arXiv (Cornell University)|Oct 8, 2024

Advanced Image and Video Retrieval Techniques被引用数 17

ひとこと要約

LightRAG はグラフベースのテキストインデックス作成とデュアルレベルの検索フレームワークを統合し、検索精度、効率、および retrieval-augmented generation における迅速な適応を向上させます。

ABSTRACT

Retrieval-Augmented Generation (RAG) systems enhance large language models (LLMs) by integrating external knowledge sources, enabling more accurate and contextually relevant responses tailored to user needs. However, existing RAG systems have significant limitations, including reliance on flat data representations and inadequate contextual awareness, which can lead to fragmented answers that fail to capture complex inter-dependencies. To address these challenges, we propose LightRAG, which incorporates graph structures into text indexing and retrieval processes. This innovative framework employs a dual-level retrieval system that enhances comprehensive information retrieval from both low-level and high-level knowledge discovery. Additionally, the integration of graph structures with vector representations facilitates efficient retrieval of related entities and their relationships, significantly improving response times while maintaining contextual relevance. This capability is further enhanced by an incremental update algorithm that ensures the timely integration of new data, allowing the system to remain effective and responsive in rapidly changing data environments. Extensive experimental validation demonstrates considerable improvements in retrieval accuracy and efficiency compared to existing approaches. We have made our LightRAG open-source and available at the link: https://github.com/HKUDS/LightRAG

研究の動機と目的

• フラットなデータ表現と弱い文脈認識に対処することで、Retrieval-Augmented Generation (RAG) の改善を動機づける。
• エンティティと関係間の複雑な相互依存性を捉えるグラフ支援の RAG フレームワークを提案する。
• 情報のカバレッジと効率を高めるデュアルレベルの検索機構（低レベルと高レベル）を開発する。
• インクリメンタルアップデートによる完全なインデックス再構築なしで進化する外部データへ迅速に適応できるようにする。

提案手法

• ドキュメントを知識グラフとして表現し、LLM を用いてエンティティと関係を抽出し、グラフベースのインデックスを構築する。
• 効率的な検索を可能にするために、グラフノードとエッジのキーと値のペアを生成するプロファイリング手順を使用する。
• グラフサイズと処理オーバーヘッドを最小化するためにデデュプリケーションを組み込む。
• 低レベル（エンティティ固有）と高レベル（トピック全体）クエリを持つデュアルレベルの検索パラダイムを採用する。
• グラフ構造とベクトル表現を組み合わせ、ローカルおよびグローバルなキーワードマッチングと高次近傍の考慮を可能にする。
• グラフプロファイリングからの複数ソースのテキストを取り出して得られたものを、汎用の LLM に入力して回答を生成する。

実験結果

リサーチクエスチョン

• RQ1 LightRAG は生成性能において既存の RAG ベースラインとどのように比較されるか？
• RQ2 デュアルレベルの検索とグラフベースのインデックス作成は生成品質にどのような影響を与えるか？
• RQ3 ケーススタディを通じた多様なシナリオでの LightRAG の実用的な利点は何か？
• RQ4 データ変更時の LightRAG のコストと適応性はどのようなものか？

主な発見

• LightRAG は複数のデータセット、複数の評価指標で一貫していくつかのベースラインを上回る。
• デュアルレベルの検索により、詳細クエリと抽象的なクエリの両方をより良く扱えるようになり、包括性と多様性が向上する。
• グラフベースのインデックス作成は、チャンクベースの方法と比較してグローバルな情報抽出と検索効率を高める。
• アブレーション研究は、低レベルおよび高レベルの検索コンポーネントの双方がバランスの取れた性能に重要であることを示している。
• LightRAG はハイライトされたシナリオで GraphRAG より高い包括性、多様性、そしてエンパワーメントを示す強力なケーススタディの性能を示す。