[論文レビュー] Designing Trustworthy AI: A Human-Machine Teaming Framework to Guide Development

Carol J. Smith|arXiv (Cornell University)|Oct 8, 2019

Ethics and Social Impacts of AI被引用数 14

ひとこと要約

本論文は、設計プロセスに倫理を統合することで、信頼性のあるAI開発を促進するためのHuman-Machine Teaming (HMT) フレームワークを提唱する。これは、人間-コンピュータインタラクションの原則と倫理規定を統合し、AIシステムが説明責任を果たし、安全で、誠実で、使いやすく、人間を尊重するよう保証する。使いやすさのテストを用いて、人間の理解度とシステムの適合性を検証する。

ABSTRACT

Artificial intelligence (AI) holds great promise to empower us with knowledge and augment our effectiveness. We can -- and must -- ensure that we keep humans safe and in control, particularly with regard to government and public sector applications that affect broad populations. How can AI development teams harness the power of AI systems and design them to be valuable to humans? Diverse teams are needed to build trustworthy artificial intelligent systems, and those teams need to coalesce around a shared set of ethics. There are many discussions in the AI field about ethics and trust, but there are few frameworks available for people to use as guidance when creating these systems. The Human-Machine Teaming (HMT) Framework for Designing Ethical AI Experiences described in this paper, when used with a set of technical ethics, will guide AI development teams to create AI systems that are accountable, de-risked, respectful, secure, honest, and usable. To support the team's efforts, activities to understand people's needs and concerns will be introduced along with the themes to support the team's efforts. For example, usability testing can help determine if the audience understands how the AI system works and complies with the HMT Framework. The HMT Framework is based on reviews of existing ethical codes and best practices in human-computer interaction and software development. Human-machine teams are strongest when human users can trust AI systems to behave as expected, safely, securely, and understandably. Using the HMT Framework to design trustworthy AI systems will provide support to teams in identifying potential issues ahead of time and making great experiences for humans.

研究の動機と目的

• 実世界の応用における倫理的AI開発をガイドする実用的フレームワークの欠如に対処する。
• 政府および公共部門の文脈において特に、AIシステムが安全で、制御可能で、信頼できるままであることを保証する。
• 多様なAI開発チームが価値観と設計原則を統一するための共通の倫理的基盤を提供する。
• 信頼と採用を高めるために、使いやすさと人間の理解をAIシステム設計に統合する。
• 構造的なチーム活動を通じて倫理的および使いやすさの問題を事前に特定することで、AIの展開リスクを低減する。

提案手法

• 既存の倫理規定および人間-コンピュータインタラクションとソフトウェア開発分野のベストプラクティスの統合に基づき、Human-Machine Teaming (HMT) フレームワークを構築する。
• 説明責任、リスク低減、尊重、セキュリティ、誠実さ、使いやすさといった、基本的な倫理的原則をAI開発ライフサイクルに統合する。
• ユーザー中心の活動、たとえば使いやすさのテストを組み込み、ユーザーがAIシステムの機能と動作を理解しているかどうかを評価する。
• ユーザーのフィードバックと倫理的適合性に基づいて、AIシステムを評価・改善する反復的設計プロセスを用いる。
• 共通の倫理と人間のニーズを基盤としてチーム連携を構造化し、AIの成果に対する信頼を強化する。
• 特に広範な人口に影響を与える政府応用を含む、公共部門のAI文脈にこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 AI開発チームは、どのようにしてAIシステムの設計に倫理的原則を体系的かつ統合的に組み込むことができるか？
• RQ2 信頼性があり、使いやすく、人間ユーザーを尊重するAIシステムを構築するための実用的フレームワークは何か？
• RQ3 使いやすさのテストは、人間ユーザーがAIシステムの動作を理解し、信頼できるようにするために、どのように活用できるか？
• RQ4 公共部門の応用において、多様なAI開発チームを統一するための共通の倫理的基盤は何か？
• RQ5 高い影響を持つ分野において、AIシステムは技術的にも信頼性があり、社会的にも責任あるものとしてどのように設計できるか？

主な発見

• HMTフレームワークは、開発ライフサイクルに倫理を統合することで、信頼性のあるAIを設計する体系的かつ実行可能なアプローチを提供する。
• 使いやすさのテストは、ユーザーがAIシステムの理解に不足している点を効果的に特定でき、透明性と信頼性の向上に役立てる。
• このフレームワークは、説明責任があり、安全で、人間の自律性と意思決定を尊重するAIシステムの構築を支援する。
• 多様なチームを共通の倫理的原則に沿って統一することで、公共部門のAI展開における予期しない結果のリスクが低減される。
• 人間-コンピュータインタラクションの実践とAI倫理を統合することで、システムの使いやすさとユーザーの信頼が向上する。
• このフレームワークは、信頼性と信頼性が最重要視される政府サービスのようなハイリスク環境において特に効果的である。