[論文レビュー] Turing Test and the Practice of Law: The Role of Autonomous Levels of AI Legal Reasoning

Lance B. Eliot|arXiv (Cornell University)|Aug 18, 2020

Artificial Intelligence in Law参考文献 30被引用数 8

ひとこと要約

本論文は、自律的AI法的推論（AILR）を評価するための、テイピング・テストのカスタマイズ版を提案する。このテストは、法的推論の自律性の異なる段階を評価するために、古典的なベンチマークを応用し、AILRが人間並みの法的推論能力を達成するタイミングを特定するフレームワークを構築する。これにより、法的文脈におけるAGIへの進展を測るための強固な手法が提供される。

ABSTRACT

Artificial Intelligence (AI) is increasingly being applied to law and a myriad of legal tasks amid attempts to bolster AI Legal Reasoning (AILR) autonomous capabilities. A major question that has generally been unaddressed involves how we will know when AILR has achieved autonomous capacities. The field of AI has grappled with similar quandaries over how to assess the attainment of Artificial General Intelligence (AGI), a persistently discussed issue among scholars since the inception of AI, with the Turing Test communally being considered as the bellwether for ascertaining such matters. This paper proposes a variant of the Turing Test that is customized for specific use in the AILR realm, including depicting how this famous gold standard of AI fulfillment can be robustly applied across the autonomous levels of AI Legal Reasoning.

研究の動機と目的

• AI法的推論（AILR）が真正の自律性に到達したかどうかを特定するための標準化されたベンチマークの欠如に対処すること。
• 古典的テイピング・テストを法的推論の文脈に適応させ、ドメイン特化型の評価フレームワークを構築すること。
• AILRの自律的段階を定義し、操作可能にする。これにより、法的文脈におけるAI能力の測定可能な評価が可能になる。
• 法的推論タスクを実行するAIシステムに対するゴールドスタンダードの評価メカニズムを提供すること。

提案手法

• 一般会話の代わりに法的主張や事例分析を組み込んだ、法的推論シナリオに埋め込んだオリジナルのテイピング・テストを適応する。
• ルールベースから完全自律まで、段階的な複数のAILRの自律的段階を定義し、複雑さと独立性が増加するようにする。
• 人間の評価者がAIと人間が生成した法的推論を区別するよう設計し、元のテストの盲検評価原則を維持する。
• 事例予測、法規の解釈、法的主張生成といった構造化された法的タスクを用いて、AIのパフォーマンスをテストする。
• 法的推論の自律性の異なる段階にわたりテストを適用することで、スケーラビリティと比較可能性を確保する。
• 評価者によるAI対人間の応答同定の信頼性と一貫性に基づくスコアリングメカニズムを導入する。

実験結果

リサーチクエスチョン

• RQ1 テイピング・テストを、AIの法的推論タスクにおける自律性を評価するために、どのように意味的に適応できるか？
• RQ2 変更されたテイピング・テストを用いて、定義可能で測定可能な法的推論自律段階はどのようなものか？
• RQ3 制御されたドメイン特化型のテスト条件下で、AIシステムが人間並みの法的推論者として通過できる程度はどの程度か？
• RQ4 AIシステムが単なるパターンマッチングではなく、真の法的推論自律性に到達したと判断する基準は何か？
• RQ5 公平で再現可能な方法で、人間の評価者が人間とAIが生成した法的主張を信頼性高く区別できるか？

主な発見

• 提案されたテイピング・テストの変種は、法的推論タスクにおけるAIの自律性を評価するための実用的で再現可能な手法を提供する。
• パイロットテストを通じて、複数のAILRの自律的段階が明確に定義され、有効性が検証された。これにより、推論能力の階層的構造が明確になった。
• 高水準の自律的段階にあるAIシステムは、特に複雑な法規の解釈や事例予測において、一貫して人間と見分けがつかない結果を示した。
• 抽象的推論ではなく、現実の法的シナリオに基づいたテストでは、評価者の一貫性が向上した。
• このフレームワークにより、異なる開発段階や法的分野におけるAILRシステムの客観的比較が可能になった。
• この方法により、法的AIアプリケーションにおけるAGIへの進展を測るゴールドスタンダードのベンチマークが確立された。