[論文レビュー] Legal Syllogism Prompting: Teaching Large Language Models for Legal Judgment Prediction

Cong Jiang, Xiaolei Yang|arXiv (Cornell University)|Jul 17, 2023

Artificial Intelligence in Law被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLMs）に法律的判断を予測させるために、法的三段論法（大前提：法的規定、小前提：事実、結論：判断）として推論を構造化するゼロショットプロンプティング手法であるLegal Syllogism Prompting（LoT）を紹介する。CAIL2018中国刑事事件データセットにおいて、LoTは微調整やラベル付き例なしに、ベースラインモデルおよびチェーン・オブ・チョイスプロンプティングを上回る性能を発揮し、微調整を伴わず、構造化された法的推論によりモデルの説明可能性を向上させた。

ABSTRACT

Legal syllogism is a form of deductive reasoning commonly used by legal professionals to analyze cases. In this paper, we propose legal syllogism prompting (LoT), a simple prompting method to teach large language models (LLMs) for legal judgment prediction. LoT teaches only that in the legal syllogism the major premise is law, the minor premise is the fact, and the conclusion is judgment. Then the models can produce a syllogism reasoning of the case and give the judgment without any learning, fine-tuning, or examples. On CAIL2018, a Chinese criminal case dataset, we performed zero-shot judgment prediction experiments with GPT-3 models. Our results show that LLMs with LoT achieve better performance than the baseline and chain of thought prompting, the state-of-art prompting method on diverse reasoning tasks. LoT enables the model to concentrate on the key information relevant to the judgment and to correctly understand the legal meaning of acts, as compared to other methods. Our method enables LLMs to predict judgment along with law articles and justification, which significantly enhances the explainability of models.

研究の動機と目的

• 深層学習と微調整に基づく既存の法的判断予測（LJP）モデルにおける説明可能性の欠如に取り組むこと。
• 大規模言語モデル（LLMs）が微調整やラベル付き例なしにゼロショット法的判断予測を実行できるようにすること。
• 法的三段論法（法、事実、判断）に従って推論を構造化することで、モデルの解釈可能性を向上させ、司法判断のプロセスを模倣すること。
• 関連する事実や適切な罪名を区別する際のモデルの選別性と感受性を向上させること。
• LLMsが法律的に整合性があり説明可能な判断を、プロンプティングフレームワークのみで生成できることを示すこと。

提案手法

• LoTは、主張の前提（法的規定）、小前提（事実）、結論（判断）の3つの要素に明示的に推論を構造化するプロンプティングテンプレートを導入する。
• LLMが構造的かつ演繹的推論を生成するように誘導するため、'法的三段論法で考えましょう'のようなシンプルな指示を用いる。
• 微調整やラベル付き例は使用せず、モデルは入力された事案記述と事前学習済み知識から直接三段論法を生成する。
• 出力形式を法的論理に合わせて制約することで、LLMの内蔵された推論能力を活用し、関連する事実や法的規定に集中するよう促進する。
• GPT-3を用いてCAIL2018データセット上でゼロショット設定で評価し、標準的なLJP指標を用いて性能を測定する。
• 将来的には、法的条文の正確性を向上させるために後処理を用いる可能性があるが、これは本手法の核心には含まれない。

実験結果

リサーチクエスチョン

• RQ1 LoTのようなシンプルなプロンプティング手法が、微調整やラベル付き例なしにLLMsでゼロショット法的判断予測を可能にするか。
• RQ2 法的三段論法として推論を構造化することで、関連する事実や法的規定に集中するモデルの選別性が向上するか。
• RQ3 チェーン・オブ・チョイスプロンプティングと比較して、LoTは法的判断予測における正確性と説明可能性の面で優れているか。
• RQ4 LLMsが明示的な法律データへのトレーニングなしに、三段論法の構造のみで法的に整合性のある判断を生成できるか。
• RQ5 同一の行動系列に対して、複数の罪名を区別する際の感受性が、LoTによってどの程度向上するか。

主な発見

• LoTは、CAIL2018データセットにおけるゼロショット法的判断予測において、ベースラインおよびチェーン・オブ・チョイスプロンプティングを顕著に上回る性能を示した。
• LoTを用いたモデルは、チェーン・オブ・チョイス出力に見られるような不要な詳細を避けるなど、法的規定に関連する事実にのみ集中する高い選別性を示した。
• LoTは、複数の行動を1つの罪名（例：詐欺）にまとめる能力を向上させ、過剰に分離して複数の罪名に分割するのを防ぐことで感受性を向上させた。
• 適用される法的条文と根拠を含む完全な三段論法を生成することで、説明可能性が向上し、司法判断の実務と整合した。
• LoTにより、微調整や例示なしに、LLMsがゼロショット設定で完全な法的推論を伴う正確な判断を生成できるようになった。
• 結果から、法的三段論法プロンプティングが、LLMsの演繹的推論能力を法的タスクに効果的に解き放つことが示唆された。