[論文レビュー] Towards the Exploitation of LLM-based Chatbot for Providing Legal Support to Palestinian Cooperatives

Rabee Qasem, Banan Tantour+1 more|arXiv (Cornell University)|Jun 9, 2023

Artificial Intelligence in Law被引用数 8

ひとこと要約

要約：論文は、パレスチナの協同組合法に関する問いに答えるためのLLMベースのチャットボットを構築し、専門家の回答と比較して評価し、 large legal texts に対処するための LlamaIndex を用いたベクトル化で全体の正確度82%、F1スコア79%を報告する。

ABSTRACT

With the ever-increasing utilization of natural language processing (NLP), we started to witness over the past few years a significant transformation in our interaction with legal texts. This technology has advanced the analysis and enhanced the understanding of complex legal terminology and contexts. The development of recent large language models (LLMs), particularly ChatGPT, has also introduced a revolutionary contribution to the way that legal texts can be processed and comprehended. In this paper, we present our work on a cooperative-legal question-answering LLM-based chatbot, where we developed a set of legal questions about Palestinian cooperatives, associated with their regulations and compared the auto-generated answers by the chatbot to their correspondences that are designed by a legal expert. To evaluate the proposed chatbot, we have used 50 queries generated by the legal expert and compared the answers produced by the chart to their relevance judgments. Finding demonstrated that an overall accuracy rate of 82% has been achieved when answering the queries, while exhibiting an F1 score equivalent to 79%.

研究の動機と目的

• LLMベースのチャットボットがパレスチナの協同組合の法的問い合わせを支援できるかを動機づけ、検討する。
• パレスチナの2017年法第20号および関連条項法令に基づく24/7 のチャットボットを開発する。
• 専門家が作成した質問と比較してチャットボットを評価し、正確性、満足度、バイアスを評価する。
• 大規模な法的文書によるデータスケーラビリティの課題に対処するため、ベクトル化とインデックス化を用いる。

提案手法

• ChatGPTとLlamaIndexを用いて大規模な法的文書をインデックス化・照会するQAデータセットを含むチャットボットを構築する。
• Law No. 20/2017と関連条項法令に基づくヒト生成およびChatGPT生成の2つのQ&Aデータセットを作成する。
• ベクタ化生成のために600トークンのチャンク、入力最大8,192トークン、50トークンの重複を使用する。
• 50の専門家質問に対して正確性、満足度、混同行列ベースの分析で評価する。
• 専門家の回答が正しいという仮定のもと、正確性、平均満足度、適合率、再現率、F1で性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 LLMベースのチャットボットはパレスチナの協同組合法に関する質問に正確に答えられるか？
• RQ2 ベクトル化（LlamaIndex）によって大規模な法的文書をLLMが照会できるようになる効果はどの程度か？
• RQ3 協同組合に法的ガイダンスを提供する際のLLMチャットボットの強みと限界は何か？
• RQ4 専門家の回答と比較してチャットボットのユーザー満足度と信頼性はどの程度か？

主な発見

• 全体の正確度は82%（41/50 問題が正解）です。
• 右/関連クラスのF1スコアは0.88；右/関連の精度は0.0?1.0（評価仮定下）。（注：原文の数値はそのまま表記）
• 法務顧問による評価に基づく平均満足度：78.3%
• 混同行列の結果、'wrong'クラスは0、'right/related'の再現率は0.79を示します。