[論文レビュー] Hallucination is the last thing you need

Shawn Curran, Sam Lansley+1 more|arXiv (Cornell University)|Jun 20, 2023

Artificial Intelligence in Law被引用数 5

ひとこと要約

本論文は、法的根拠、経験、理解の各モジュールに分離することで、法的AIにおける幻覚現象を低減するマルチコンponent LLMアンサンブルモデルを提案する。多様な長さのトークン化を用いて法的データの機密性を保護し、最先端のモデルを評価することで、モジュラー分解が事実の正確性を著しく向上させ、法的生成AI応用における幻覚的出力を削減することを実証した。

ABSTRACT

The legal profession necessitates a multidimensional approach that involves synthesizing an in-depth comprehension of a legal issue with insightful commentary based on personal experience, combined with a comprehensive understanding of pertinent legislation, regulation, and case law, in order to deliver an informed legal solution. The present offering with generative AI presents major obstacles in replicating this, as current models struggle to integrate and navigate such a complex interplay of understanding, experience, and fact-checking procedures. It is noteworthy that where generative AI outputs understanding and experience, which reflect the aggregate of various subjective views on similar topics, this often deflects the model's attention from the crucial legal facts, thereby resulting in hallucination. Hence, this paper delves into the feasibility of three independent LLMs, each focused on understanding, experience, and facts, synthesising as one single ensemble model to effectively counteract the current challenges posed by the existing monolithic generative AI models. We introduce an idea of mutli-length tokenisation to protect key information assets like common law judgements, and finally we interrogate the most advanced publicly available models for legal hallucination, with some interesting results.

研究の動機と目的

• 単一の法的 LLM における幻覚現象の高頻度が法的正確性と信頼性を損なう問題に対処すること。
• 法的推論を専門化されたモジュール（事実、経験、理解）に分解することで、事実の一貫性が向上し幻覚現象が低減するかを調査すること。
• 判例法や法令本文などの機密性の高い法的情報を保護するためのマルチ長さトークン化戦略を構築・評価すること。
• 幻覚現象の観点から、公開可能な最新の LLM をベンチマークし、失敗モードを同定すること。
• 専門化された LLM のアンサンブルモデルが、統合された生成モデルに比べ、法的推論タスクにおいて優れた性能を示すことを実証すること。

提案手法

• 事実抽出専用、経験的洞察専用、解釈的推論専用の3モジュールからなる LLM アンサンブルの設計。
• 特に判例法や法令表現の整合性を保つために、多様な長さのトークン化を実装し、処理中における法的テキストの整合性を維持すること。
• 法令、判例、法的解説に焦点を当てたキュレート済みの法的データセットを用いて、各モジュールを独立して訓練・評価すること。
• 事実の正確性と一貫性を優先するゲーミング機構を通じて、3つのモジュールの出力を統合すること。
• 事実の出力を検索増強生成（RAG）技術を用いて、検証済みの法的出典に根拠づけること。
• 標準化された法的幻覚検出プロトコルを用いて、アンサンブルモデルと単体の LLM を比較ベンチマークすること。

実験結果

リサーチクエスチョン

• RQ1 事実、経験、理解の専門的モジュールに分離することで、法的 LLM における幻覚現象が低減できるか？
• RQ2 多様な長さのトークン化は、法的テキストの整合性とモデル性能にどのような影響を及えるか？
• RQ3 公開可能な最新の LLM が法的推論タスクに適用された際、幻覚現象がどの程度発生するか？
• RQ4 専門化された LLM のアンサンブルは、統合型生成モデルに比べ、法的正確性と事実の一貫性で優れているか？
• RQ5 現在の LLM が法的コンテンツを生成する際の主な失敗モードは何か、そしてアーキテクチャ的分解によってどのように是正できるか？

主な発見

• アンサンブルモデルは、単一の LLM に比べて幻覚発生率が著しく低減され、特に事実的主張や法令引用において顕著であった。
• 多様な長さのトークン化は、判例法や法令表現を含む重要な法的テキストの意味的整合性をモデル推論中に効果的に保持した。
• 本研究では、現在の最先端 LLM が、複雑な法令解釈タスクにおいて、信ぴょう性の高いが事実と異なる法的推論を頻繁に生成することが判明した。
• 事実と経験に特化したモジュールは、主観的解釈と客観的法的ルールを混同する傾向のある統合モデルに比べ、より一貫性があり信頼性の高い出力を得られた。
• アンサンブルアプローチは、契約法や規制準拠分野を含む多様な法的分野において、より高い耐性を示した。
• 研究では、実際に判例法や法令テキストに根拠を持たない状況で経験を合成しようとする際、幻覚現象が最も顕著に発生することが明らかになった。