[論文レビュー] How well do SOTA legal reasoning models support abductive reasoning?

Ha-Thanh Nguyen, Randy Goebel+3 more|arXiv (Cornell University)|Apr 14, 2023

Artificial Intelligence in Law被引用数 7

ひとこと要約

この論文は、法的AIにおいて重要なが未だ十分に検討されていない能力である帰納的推論（abductive reasoning）について、最先端（SOTA）の法的推論モデルを評価する。新たに構築された論理拡張型データセット（498,697件のサンプル）を用いて、SOTA法的モデル（微調整済みBERTバージョンおよびGPT-3を含む）が帰納的推論タスクにおいて、元のBERT Baseモデルを下回ることを発見した。これは、他の法的NLPタスクにおいて優れた性能を示すものの、現在の法的AIシステムに帰納的推論に関する重要な限界があることを示している。

ABSTRACT

We examine how well the state-of-the-art (SOTA) models used in legal reasoning support abductive reasoning tasks. Abductive reasoning is a form of logical inference in which a hypothesis is formulated from a set of observations, and that hypothesis is used to explain the observations. The ability to formulate such hypotheses is important for lawyers and legal scholars as it helps them articulate logical arguments, interpret laws, and develop legal theories. Our motivation is to consider the belief that deep learning models, especially large language models (LLMs), will soon replace lawyers because they perform well on tasks related to legal text processing. But to do so, we believe, requires some form of abductive hypothesis formation. In other words, while LLMs become more popular and powerful, we want to investigate their capacity for abductive reasoning. To pursue this goal, we start by building a logic-augmented dataset for abductive reasoning with 498,697 samples and then use it to evaluate the performance of a SOTA model in the legal field. Our experimental results show that although these models can perform well on tasks related to some aspects of legal text processing, they still fall short in supporting abductive reasoning tasks.

研究の動機と目的

• 最先端（SOTA）の法的推論モデルが帰納的推論をサポートしているかどうかを調査すること。これは法的議論および解釈における根幹的なスキルである。
• 法的理論および実務において極めて重要であるにもかかわらず、しばしば無視されがちな帰納的推論における法的AIモデルの評価ギャップを埋めること。
• 帰納的推論のための信頼性の高い、論理拡張型データセットを構築し、厳密な評価を可能にすること。
• 微調整済みBERTバージョンおよびGPT-3を含むSOTA法的モデルの、帰納的推論タスクにおける一般向けBERT Baseモデルとの性能比較を行うこと。
• 現在の事前学習アプローチにおける法的AIの限界、特に帰納的推論のパターンとの整合性の欠如を明らかにすること。

提案手法

• L’ARTデータセット内での帰納的推論タスクを再定義し、観察から仮説を生成するという点に焦点を当て、信頼性と明確性を向上させた。
• L’ARTおよび${\alpha}NLI$データセットの既存例を再定義・拡張することで、論理拡張型データセット（498,697件のサンプル）を構築した。
• BERT Base、Legal BERT、BERTLaw、BERT Large、NFSPを含む、複数のSOTAトランスフォーマーベースモデルを法的ドメインで微調整した。
• ホールドアウトされたテストセットを用いた二値分類タスクとしての帰納的推論性能を評価し、信頼性を得るために繰り返し実験を行った。
• 直接比較のためではなく、ドメインの不一致および微調整の欠如のため、GPT-3のゼロショット推論を参考として含めた。
• 過学習の監視および一貫性のある性能を確保するために、検証精度を用いた。

実験結果

リサーチクエスチョン

• RQ1 SOTA法的推論モデルは、一般向けモデルと比較して、帰納的推論タスクでどの程度の性能を示すか？
• RQ2 法的テキストで微調整されたBERTは、元のBERT Baseと比較して、帰納的推論の能力が向上するか？
• RQ3 モデルサイズおよびアーキテクチャの違いが、法的NLPタスクにおける帰納的推論性能に与える影響は何か？
• RQ4 GPT-3のような既存の大規模言語モデルは、微調整なしで法的文脈における帰納的推論を実行できるか？
• RQ5 トレーニングデータの構造および品質が、法的AIモデルにおける帰納的推論性能にどの程度影響を及ぼすか？

主な発見

• 元のBERT Baseモデルが、すべての微調整済み法的モデル（Legal BERT、BERTLaw、BERT Largeを含む）を上回り、テスト精度61.62％を達成した。
• Legal BERTやBERTLawといった法的特化モデルは、それぞれ56.19％および53.71％のテスト精度にとどまり、法的推論に偏ったデータバイアスが帰納的推論とは異なる能力に影響を与えている可能性を示唆している。
• BERT Largeは、より大きな容量を有するにもかかわらず、50.00％のテスト精度にとどまり、帰納的推論タスクにおいてモデルサイズの増加が性能向上を保証しないことを示している。
• GPT-3のゼロショット性能（49.59％の精度）は、テストされたすべてのモデルの中で最悪であり、法的帰納的推論におけるゼロショット一般化の限界を強調している。
• バリデーションセットとテストセットの性能が、すべての実行でほぼ同一であったため、顕著な過学習は認められず、評価の信頼性が高まった。
• これらの結果から、現在の法的AIモデルの事前学習戦略は、帰納的推論に必要な仮説生成のパターンを学習していないことが明らかになった。