[論文レビュー] Legal Question-Answering in the Indian Context: Efficacy, Challenges, and Potential of Modern AI Models

Shubham Kumar Nigam, Shubham Kumar Mishra+3 more|arXiv (Cornell University)|Sep 26, 2023

Topic Modeling被引用数 5

ひとこと要約

本研究では、最適化されたプロンプトおよび埋め込み戦略を用いて、GPT-3 Davinciを用いて、インドの刑事法分野における現代のAIモデルのインド法的質問応答（AILQA）性能を評価している。その結果、GPT-3ベースの生成モデルが、ChatGPTおよび人間の弁護士よりも正確性と関連性において優れていることが判明した。特にAda + Davinciの組み合わせが最も高い専門家評価を得ており、幻覚の発生も最小限に抑えられた。

ABSTRACT

Legal QA platforms bear the promise to metamorphose the manner in which legal experts engage with jurisprudential documents. In this exposition, we embark on a comparative exploration of contemporary AI frameworks, gauging their adeptness in catering to the unique demands of the Indian legal milieu, with a keen emphasis on Indian Legal Question Answering (AILQA). Our discourse zeroes in on an array of retrieval and QA mechanisms, positioning the OpenAI GPT model as a reference point. The findings underscore the proficiency of prevailing AILQA paradigms in decoding natural language prompts and churning out precise responses. The ambit of this study is tethered to the Indian criminal legal landscape, distinguished by its intricate nature and associated logistical constraints. To ensure a holistic evaluation, we juxtapose empirical metrics with insights garnered from seasoned legal practitioners, thereby painting a comprehensive picture of AI's potential and challenges within the realm of Indian legal QA.

研究の動機と目的

• インド独自の刑事法制度における複雑な法的質問に応える現代のAIモデルの有効性を評価すること。
• インド法的分野タスクにおける埋め込みモデルと質問応答モデルの最適な組み合わせを特定すること。
• 専門家による評価を用いて、生成型AIモデルの信頼性と正確性を人間の法的専門家と比較して評価すること。
• インド法的QA用データセットやベンチマークの不足を補うために包括的な評価フレームワークを構築すること。
• 少数の例提示（few-shot prompting）および思考の道筋（chain-of-thought）技術が、法的AIシステムにおける推論能力を向上させる可能性を調査すること。

提案手法

• 法的QAの基盤として、OpenAIのGPT-3 Davinciモデルを用いた。
• 4種類の埋め込みモデル（Ada、Instructor、BM25、GPT-3）と2種類のQAモデル（Davinci、Flan-UL2）を組み合わせた8通りの実験的構成を評価した。
• 構文的評価指標（ROUGE-1、ROUGE-2、ROUGE-L、BLEU）とMPNET埋め込みを用いた意味的類似度評価を実施した。
• 法的実務家を対象に5段階評価スケールを用いた専門家評価を実施し、回答の質、関連性、正確性を評価した。
• GPT-3モデルが全法的コロケーションから文脈的に適切な回答を生成できるように、プロンプト工学を適用した。
• リtrieval-augmented generationアプローチを採用し、初期のリtrievalにはBM25、回答生成にはGPT-3を用いた。

実験結果

リサーチクエスチョン

• RQ1 異なる埋め込みモデルとQAモデルの組み合わせは、インドの刑事法分野の質問に対してどれほど正確な回答を生成できるか？
• RQ2 GPT-3ベースのモデルは、インド法的文脈における従来のリtrievalベースのシステムおよびChatGPTを上回る性能を示せるか？
• RQ3 生成型AIモデルは、回答の質と関連性において、どの程度専門家の法的判断と一致するか？
• RQ4 プロンプト工学は、法的AIの回答における幻覚の低減および事実の整合性向上にどのような役割を果たすか？
• RQ5 意味的評価指標と構文的評価指標は、法的質問応答システムにおいて人間の専門家評価とどの程度相関するか？

主な発見

• GPT-3（Ada）ベースの埋め込みモデルが、法的QAタスクにおける高品質な回答生成において他の埋め込みモデルを上回った。
• GPT-3（Davinci）モデルは、専門家評価を含むすべての評価指標で一貫して最高の回答品質を示した。
• Ada + Davinciの組み合わせが、平均専門家評価スコア（5段階評価スケールで4.2）を記録し、50件中21件が「5」（優れた回答）と評価された。
• 最適化されたプロンプトを用いたGPT-3ベースのモデルは、人間の弁護士の回答を正確性と関連性の両面で上回り、幻覚の事例は一切認められなかった。
• Flan-UL2およびLongFormerモデルは意味的理解力と専門家との整合性に劣り、専門家評価の平均が5段階スケールで2.0未満にとどまった。
• BM25 + Davinciパイプラインは、すべてのGPT-3ベースの構成よりも性能が低く、複雑な法的推論タスクにはリtrievalオンリーモデルでは不十分であることが示された。