[論文レビュー] Discovering the Rationale of Decisions: Experiments on Aligning Learning and Reasoning

Cor Steging, Silja Renooij+1 more|arXiv (Cornell University)|May 14, 2021

Artificial Intelligence in Law参考文献 27被引用数 8

ひとこと要約

本稿では、専門家が設計したテストデータセットを用いて、ブラックボックス機械学習モデルの根拠発見の評価および改善を可能にするモデルに依存しない手法を提案する。高い精度が正しく根拠を学習していることを意味しないこと、および、特化した訓練データを用いることで、例外を含む複雑な法的分野においても根拠の整合性を著しく向上させられることを示している。

ABSTRACT

In AI and law, systems that are designed for decision support should be explainable when pursuing justice. In order for these systems to be fair and responsible, they should make correct decisions and make them using a sound and transparent rationale. In this paper, we introduce a knowledge-driven method for model-agnostic rationale evaluation using dedicated test cases, similar to unit-testing in professional software development. We apply this new method in a set of machine learning experiments aimed at extracting known knowledge structures from artificial datasets from fictional and non-fictional legal settings. We show that our method allows us to analyze the rationale of black-box machine learning systems by assessing which rationale elements are learned or not. Furthermore, we show that the rationale can be adjusted using tailor-made training data based on the results of the rationale evaluation.

研究の動機と目的

• ブラックボックス機械学習モデルの法的意思決定支援システムにおける説明可能性のギャップを埋める。
• モデルが高精度を達成しているだけでなく、正しい意思決定根拠を学習しているかを評価する手法を開発する。
• 根拠評価に基づいて訓練データを調整することで、モデル性能を向上させられることを実証する。
• 虚構的、簡略化された、および現実世界の法的分野（オランダの不法行為法を含む）の全領域において、本手法を検証する。

提案手法

• ソフトウェア開発におけるユニットテストを想起させる、根拠の特定の知識的要素を標的とした専用のテストデータセット（タイプB）を設計する。
• 既存の機械学習モデル（例：多層パーセプトロン）を、既知の論理的ルールを有する人工データセット上で訓練する。
• 一般テストセットだけでなく、根拠固有のテストセットを用いて、学習された条件の不整合を検出する。
• 根拠評価の結果に基づき、訓練データの分布を調整して、特定の根拠要素の学習を改善する。
• 定量的精度指標と、専用のテストケースにおけるモデル出力の定性的分析を組み合わせ、根拠発見を評価する。
• ドメイン知識と、必要に応じてベイジアンネットワークを活用して、テストセット構築を支援する手法を実装する。

実験結果

リサーチクエスチョン

• RQ1 現代のニューラルネットワークは、高精度を達成しているにもかかわらず、法的分野における意思決定の完全な根拠を学習できるのか？
• RQ2 ブラックボックスモデルは、全体としての精度が高くても、意思決定根拠の特定の条件を学習できない場合があるが、その程度はどの程度か？
• RQ3 専門家の知識と根拠評価に基づいて訓練データを特化させることで、根拠発見を改善できるか？
• RQ4 提案手法は、虚構的および現実世界の法的分野の両方で根拠の不整合を検出できるか？

主な発見

• ニューラルネットワークは、虚構の福祉給付分野の標準テストセットで98％を超える精度を達成したが、根拠内の2つの重要な条件（C₁およびC₆）を学習できなかった。
• 同じ問題が、より大きな訓練データセットを用いても継続的に発生したため、データ不足によるものではないことが示された。
• 根拠評価に基づいて訓練データの重み付けを再調整したことで、ネットワークはC₁およびC₆の学習を著しく向上させ、高い精度を維持した。
• 分野の簡略化版では、ネットワークがC₁およびC₆をより効果的に学習できたが、完全には達成できず、複雑さが根拠発見に影響を与えることが示された。
• 現実世界のオランダの不法行為法分野では、一般テストセットで99％の精度を達成したにもかかわらず、責任帰属を定義する独立した条件を学習できなかった。
• 提案された根拠評価手法は、根拠の不整合を的確に特定し、モデルの透明性および正しさを向上させるための的確なデータ調整を可能にした。