[論文レビュー] The Role of Normware in Trustworthy and Explainable AI

Giovanni Sileno, Alexander Boer+1 more|arXiv (Cornell University)|Dec 6, 2018

Ethics and Social Impacts of AI参考文献 6被引用数 8

ひとこと要約

本論文は、信頼性と説明可能性のあるAIを構築するための重要な生態的統合的要素として、規範を規定する計算的実体「ノームウェare」を導入する。意思決定サイクルに規範的制約を直接埋め込むことで、ノームウェアは予期しない結果の検出、倫理基準との整合性、説明可能な正当化の生成を可能にし、ソフトウェare やハードウェare を超える、画期的なアーキテクチャ的レイヤーを提供する。

ABSTRACT

For being potentially destructive, in practice incomprehensible and for the most unintelligible, contemporary technology is setting high challenges on our society. New conception methods are urgently required. Reorganizing ideas and discussions presented in AI and related fields, this position paper aims to highlight the importance of normware--that is, computational artifacts specifying norms--with respect to these issues, and argues for its irreducibility with respect to software by making explicit its neglected ecological dimension in the decision-making cycle.

研究の動機と目的

• 自律的かつ人間とのインタラクションを伴う文脈における、予期しない、倫理的に不適切な、または透徹性のないAIの出力結果に関する懸念が高まる中、それらに対処すること。
• 現在のAI開発が、明示的に規範や倫理的制約をエンコードする専用の計算レイヤーであるノームウェアの必要性を無視していることを主張すること。
• ノームウェアを、システム行動をガイドするが完全に制御しない、不可欠で生態的・統合的な要素として位置づけること。
• ノームウェアが意思決定に対して動的かつ文脈に敏感なチェックを提供する新しいアーキテクチャ的パラダイムを提唱すること。
• AI倫理、法的規範、技術的実装の間のギャップを埋めるために、規範的推論をシステム設計に根ざさせること。

提案手法

• ノームウェアを、意思決定サイクル内でのチェック・アンド・バランス機構として機能する、規範を規定する独立した計算的実体として提案する。
• ノームウェアコンポーネントがソフトウェア、シミュレータ、ユーザインタフェースと相互作用する多層構造のアーキテクチャを提示する。
• 戦略的ドライバー機構を導入し、高水準の規範（例：生態的持続可能性、公平性）に基づいて計画を評価し、準拠しない選択肢を拒否する。
• 中立性制約を満たす訓練データを生成するために「第二の順序オракル」を採用し、機械学習モデルにおける統計的バイアスを低減する。
• 予測モジュールと正当化モジュールの間で整合性チェックを実施し、説明が専門家知識モデルと整合することを保証する。
• ノームウェアを他のシステムコンポーネントと生態的に共存するものとしてモデル化し、規範的システムにおける認識論的・法的多様性の類似性を示す。

実験結果

リサーチクエスチョン

• RQ1 どのようにして規範を形式的に計算的実体としてエンコードし、解釈可能かつ実行可能であるように、自律的AI意思決定をガイドできるか？
• RQ2 人間の監視が制限された状況において、ノームウェアはAIシステムにおける予期しない結果の防止にどのようなアーキテクチャ的役割を果たすか？
• RQ3 ノームウェアは、システムが専門家や社会的知識と整合する正当化を生成できるように、説明可能性をどのように向上させるか？
• RQ4 ノームウェアは従来のソフトウェアやハードウェアとどのように異なり、なぜ既存の抽象化レイヤーに還元できないのか？
• RQ5 ノームウェアは非記号的AIシステム（例：深層学習）に実装可能か？また、それらのコンポーネントとどのようにインターフェースするか？

主な発見

• ノームウェアは、ソフトウェアを補完する必要不可欠な、生態的統合的レイヤーであり、意思決定プロセスに規範的制約を直接埋め込む。
• ノームウェアの統合により、例えばシミュレートされた環境で生態的に有害な計画を拒否する戦略的チェックを通じて、予期しない結果の事前検出が可能になる。
• 第二の順序オーケストラを用いることで、中立性制約を満たす訓練データを生成でき、モデル内の統計的バイアスを低減できる。
• 予測モジュールと正当化モジュールを分離することで説明可能性が向上し、正当化コンポーネントが予測結果を専門家知識と照合することで正当性を保証する。
• ノームウェアは論理的同等性ではなく、特定の入力文脈における機能的適合性を通じて、本体論的整合性を支援する。これにより、分野を超えた柔軟性が実現される。
• 非記号的AIシステムでさえ、ノームウェアは記号的インターフェースを通じて機能可能であり、規範は言語や構造化表現を通じて通信・解釈可能である。