[論文レビュー] CBR-RAG: Case-Based Reasoning for Retrieval Augmented Generation in LLMs for Legal Question Answering

Nirmalie Wiratunga, Ramitha Abeyratne+7 more|arXiv (Cornell University)|Apr 4, 2024

Artificial Intelligence in Law被引用数 4

ひとこと要約

本稿では、事例ベース推論（CBR）を大規模言語モデル（LLM）に基づく法的質問応答に統合することで、事実の正確性と文脈の関連性を向上させる、CBR-RAGと呼ばれるリtrieval-augmented generationフレームワークを提案する。CBRのインデクシング、類似度マッチング、事例再利用メカニズムを活用して、意味的に類似した過去の事例をLLMのプロンプトに統合することで、ベースラインモデル比で平均1.94%の回答類似度向上を達成した。特にk=3におけるハイブリッドAnglEBERTが最良のパフォーマンスを示した。

ABSTRACT

Retrieval-Augmented Generation (RAG) enhances Large Language Model (LLM) output by providing prior knowledge as context to input. This is beneficial for knowledge-intensive and expert reliant tasks, including legal question-answering, which require evidence to validate generated text outputs. We highlight that Case-Based Reasoning (CBR) presents key opportunities to structure retrieval as part of the RAG process in an LLM. We introduce CBR-RAG, where CBR cycle's initial retrieval stage, its indexing vocabulary, and similarity knowledge containers are used to enhance LLM queries with contextually relevant cases. This integration augments the original LLM query, providing a richer prompt. We present an evaluation of CBR-RAG, and examine different representations (i.e. general and domain-specific embeddings) and methods of comparison (i.e. inter, intra and hybrid similarity) on the task of legal question-answering. Our results indicate that the context provided by CBR's case reuse enforces similarity between relevant components of the questions and the evidence base leading to significant improvements in the quality of generated answers.

研究の動機と目的

• 大規模言語モデル（LLM）が生成する法的回答における事実の根拠不足と出典の欠如を是正するため、リtrieval-augmented generationに構造的な事例ベース推論（CBR）を統合すること。
• 一般およびドメイン特化型の埋め込み表現と、類似度比較戦略（相互、内部、ハイブリッド）が法的QAにおけるリtrieval品質に与える影響を評価すること。
• 意味的に類似した法的事例から得られるより豊富で文脈的に関連性の高いプロンプトを提供することにより、CBR-RAGがLLM出力をどのように向上させるかを実証すること。
• 法的RAGシステムにおける埋め込みモデルとリtrievalパラメータの最適な設定を同定することに焦点を当て、回答の整合性を高め、幻覚を低減すること。

提案手法

• CBR-RAGは、CBRサイクルのリtrieval、インデクシング、類似度マッチングステージをRAGパイプラインに統合し、法的事例の構造的かつ豊富なリtrievalを実現する。
• 質問と事例の両方を、BERT、LegalBERT、AnglEBERTからの埋め込みに基づく表現で符号化し、類似度計算に用いる。
• 3つの類似度戦略を評価する：質問と事例間の相互類似度（inter-similarity）、質問または事例の構成要素内での内部類似度（intra-similarity）、および両者を組み合わせたハイブリッド類似度（hybrid similarity）。
• k-Nearest Neighbors（k-NN）を用いてリtrievalを実施し、k ∈ {1, 3, 5, ..., 37}の範囲で評価した。F1スコア評価に基づき、k=3が最適とされた。
• 生成された回答は、Mistral-7Bモデルを生成器として用い、LLM出力と正解回答の間のコサイン類似度で評価された。
• ハイブリッド埋め込みは、複数の埋め込みタイプ（例：BERT + LegalBERT + AnglEBERT）を学習可能な重みで組み合わせることで、微細な類似度マッチングを向上させる。

Figure 1: CBR-RAG

実験結果

リサーチクエスチョン

• RQ1 RAGのリtrieval段階に事例ベース推論（CBR）を統合することで、法的質問応答におけるLLM生成回答の質がどのように向上するか？
• RQ2 一般モデルとドメイン特化型モデルの異なる埋め込みモデルが、法的RAGシステムにおけるリtrievalパフォーマンスに与える影響は何か？
• RQ3 相互、内部、ハイブリッドのいずれの類似度比較戦略が、法的QAタスクにおける最良の事例リtrievalをもたらすか？
• RQ4 取得する事例数（k）が、生成回答の事実の正確性および意味的質にどのように影響するか？
• RQ5 複数のモデルをハイブリッドに組み合わせた埋め込みは、個別の埋め込みを上回る性能を示すのか？

主な発見

• ハイブリッドAnglEBERT（重み[0.25, 0.40, 0.35]）とk=3が、リtrievalで最高のF1スコアを達成し、最適な設定とされた。
• k=3で全事例の文脈をプロンプトに含めたCBR-RAGは、k=1およびベースラインNo-RAGを上回り、正解回答とのコサイン類似度で平均1.94%の向上を達成した。
• k=3におけるハイブリッドAnglEBERTは、No-RAGベースラインおよびk=3のハイブリッドLegalBERTを統計的に有意に上回った（p < 0.05、片側t検定）。
• プロンプトに全事例を含めた場合、ほとんどのハイブリッド埋め込みバリアントにおいて、支援テキストのみを用いた場合よりも高いパフォーマンスを示した。
• AnglEBERTの対照的事前学習アプローチは、ALQAコーパスでの微調整なしでも、BERTおよびLegalBERTを上回る性能を示した。
• 結果から、低リソースな法的ドメインにおいて、対照的学習による埋め込みが、標準的な自己教師付きマスキング手法よりも効果的であることが示唆された。

Figure 2: Ten most frequent legal acts in the casebase are listed on the left, and the legal act frequency distribution appears on the right.