[論文レビュー] Scenarios and Recommendations for Ethical Interpretive AI

John Licato, Zaid Marji+1 more|arXiv (Cornell University)|Nov 5, 2019

Explainable Artificial Intelligence (XAI)参考文献 18被引用数 4

ひとこと要約

本論文は、AIにおける自動的解釈的推論を進めるために、倫理的ルール、解釈的シナリオ、および人間が生成した解釈を含むデータセットを提示する。主な課題として、反対論、曖昧な詳細、文脈依存的推論を特定し、議論に基づく推論を通じて人間と同等の倫理的解釈が可能なAIシステムを構築するための実用的かつ根拠に基づいた提言を提供する。

ABSTRACT

Artificially intelligent systems, given a set of non-trivial ethical rules to follow, will inevitably be faced with scenarios which call into question the scope of those rules. In such cases, human reasoners typically will engage in interpretive reasoning, where interpretive arguments are used to support or attack claims that some rule should be understood a certain way. Artificially intelligent reasoners, however, currently lack the ability to carry out human-like interpretive reasoning, and we argue that bridging this gulf is of tremendous importance to human-centered AI. In order to better understand how future artificial reasoners capable of human-like interpretive reasoning must be developed, we have collected a dataset of ethical rules, scenarios designed to invoke interpretive reasoning, and interpretations of those scenarios. We perform a qualitative analysis of our dataset, and summarize our findings in the form of practical recommendations.

研究の動機と目的

• AIが倫理的ルールを適用する際、人間と同等の解釈的推論を実行できる能力に欠けるという重要なギャップを埋めること。
• 倫理的ルールに含まれる開かれた意味的曖昧性（オープン・テクスチャード・フレーズ）が、現実世界のシナリオで解釈の相違を引き起こす仕組みを調査すること。
• 人間による倫理的シナリオの解釈を収集・分析し、自動的解釈的推論システムの設計に活かすこと。
• 解釈的推論を阻害する繰り返し発生する課題、たとえば反対論や関係のない詳細の欠落を同定すること。
• 議論に基づく推論を用いて倫理的ルールについて推論できるAIシステムを構築するための、実用的で根拠に基づいた提言を提供すること。

提案手法

• 法、医療、ソフトウェア工学など多様な分野から、100件以上の倫理的ルール、シナリオ記述、および人間がアノテートした解釈を収集したデータセットを構築した。
• 文脈的に曖昧な状況に、『公共の利益』や『欠陥のある性格』といったオープン・テクスチャード・フレーズを埋め込み、解釈的推論を誘発するシナリオを設計した。
• 三段階の評価プロセスにより解釈を収集した：初期解釈、根拠提示、および同僚評価を通じて、合意形成と乖離の程度を評価した。
• 解釈のパターンを定性的に分析し、反対論、文脈の欠落、論理的不整合といった繰り返し発生するテーマを同定した。
• 解釈的議論を次のように構造化した：『もしEがDにおいてSの文脈で発生し、Eが解釈IによってSに適合するならば、EはIとして解釈されるべきである』。
• 議論理論的分析を用いて、解釈の強度、構造、および反論の有無を評価した。特に意見の相違が生じたケースに注目した。

実験結果

リサーチクエスチョン

• RQ1 人間の推論者は、『公共の利益』や『欠陥のある性格』といったオープン・テクスチャード・フレーズの曖昧性をどのように解消するか？
• RQ2 倫理的推論において最も一般的な解釈的議論の種類は何か？ そして、それらは解釈の結果にどのように影響を与えるか？
• RQ3 反対論的解釈はどの程度頻発するか？ また、解釈が標準的でない、あるいは合意に対して意図的に反対するものであると示す兆候は何か？
• RQ4 欠落している、あるいは関係のない文脈的詳細は、解釈的推論の整合性と妥当性にどのように影響を与えるか？
• RQ5 自動化されたシステムが人間水準の倫理的推論を達成するには、解釈的議論のどの構造的・認知的特徴を再現する必要があるか？

主な発見

• 反対論的解釈が頻繁に同定された。多くの場合、期待される解釈に対して意図的に反対するものであり、AIがこうした議論を検出・評価できるようにする必要があることを示している。
• 論理的欠陥による無効化よりも、文脈的詳細の欠落や不適切な詳細の欠落によって解釈が無効化されるケースが顕著に多く、文脈的推論の強化が不可欠であることを示している。
• 解釈的議論は、しばしば根拠の強度、前提の関連性、反論の予測といった議論理論的特性に基づいて構造化されている。
• 『交通を妨げる』や『公共の利益』といったオープン・テクスチャード・フレーズに関する意見の相違は、単にルールの適用ではなく、解釈的議論によって解決された。
• データセットは、ルールが明確に提示されていても、解釈が大きく異なることが判明した。特に道徳的・職業的規範が関与する場合には顕著であり、議論に配慮したAIの必要性を強調している。
• データセットと分析は、自動化された解釈的推論システムが分類を超えて、議論の構造、文脈、および受容者期待を推論する必要があることを示している。