[論文レビュー] A Human-Centered Approach to Interactive Machine Learning

Kory W. Mathewson|arXiv (Cornell University)|May 15, 2019

Ethics and Social Impacts of AI参考文献 15被引用数 8

ひとこと要約

この論文は、公平性、説得可能性、透明性を向上させるために、人間中心の枠組みを提示する。この枠組みは、責任あるAIの原則、ステークホルダー参加、反復的設計を統合し、開発ライフサイクル全体にわたり人間要因を統合することで、AIシステムにおける使いやすさ、解釈可能性、人間の価値観および社会的ニーズとの整合性を確保する。

ABSTRACT

The interactive machine learning (IML) community aims to augment humans' ability to learn and make decisions over time through the development of automated decision-making systems. This interaction represents a collaboration between multiple intelligent systems---humans and machines. A lack of appropriate consideration for the humans involved can lead to problematic system behaviour, and issues of fairness, accountability, and transparency. This work presents a human-centred thinking approach to applying IML methods. This guide is intended to be used by AI practitioners who incorporate human factors in their work. These practitioners are responsible for the health, safety, and well-being of interacting humans. An obligation of responsibility for public interaction means acting with integrity, honesty, fairness, and abiding by applicable legal statutes. With these values and principles in mind, we as a research community can better achieve the collective goal of augmenting human ability. This practical guide aims to support many of the responsible decisions necessary throughout iterative design, development, and dissemination of IML systems.

研究の動機と目的

• 責任あるAIの原則と実際のML導入の間のギャップを埋めるために、人間要因をIMLシステム設計に統合すること。
• 構造的な人間によるループの実践を通じて、インタラクティブ機械学習における公平性、説得可能性、透明性を促進すること。
• 開発ライフサイクル全体にわたり、実務家がMLシステムを人間のニーズ、価値観、社会的影響と一致させることを支援すること。
• 設計、評価、導入段階でのステークホルダーの前もっての参加を通じて、報酬の不一致や予期しない被害のリスクを低減すること。
• 倫理審査委員会をはるかに超えた実用的で実行可能な責任あるAI開発のガイドラインを提供すること。

提案手法

• テスト可能な仮説の定義とステークホルダーのニーズの特定から始まる人間中心の設計プロセスを採用する。
• 共感を高める作業、オープンなコミュニケーション、二重用途リスク分析を通じて、早期にステークホルダーを統合する。
• ホワイトボードモデリングとプレ・モーテム分析を用いて、実装前にワークフローをマッピングし、障害モードを予測する。
• ベースラインモデル（例：人間によるループやWizard-of-Oz）を導入し、パフォーマンスのベンチマークを確立し、機能設計を支援する。
• 一貫したメトリクス、安全性テスト、多様なグループにおけるバイアス評価を用いた反復的評価を実施する。
• モデルの複雑さ、解釈可能性、速度、導入制約の間のトレードオフ分析を実施し、最適化を導く。

実験結果

リサーチクエスチョン

• RQ1 人間中心の設計原則を、公平性と説得性を向上させるために、どのように系統的にインタラクティブ機械学習システムに適用できるか？
• RQ2 特に、システムに影響を受けるか、あるいは反対する立場のステークホルダーの視点は、責任あるML開発にどのように寄与するか？
• RQ3 人間との整合性を維持し、障害モードを早期に検出できるように、反復的開発プロセスをどのように構造化できるか？
• RQ4 公開されたML導入における透明性と再現可能性を保証するための、評価およびコミュニケーション戦略は何か？
• RQ5 モデルの不正利用、攻撃、人間の行動的リスクを予測できるように、モデルの導入をどのように設計できるか？

主な発見

• 仮説の策定段階や設計段階で早期にステークホルダーを統合することで、より使いやすく、透明性があり、倫理的に整合したシステムが得られる。
• 人間による支援（Wizard-of-Oz）などのベースラインモデルは、完全自動化の前段階で必須の機能とパフォーマンスの期待値を特定するのを助ける。
• 多様なグループによる定期的な評価は、導入前に修正すべきバイアスや公平性の問題を明らかにする。
• 解釈可能性、速度、複雑さの間のトレードオフ分析により、より責任あるモデル選定と最適化が可能になる。
• 実際のユーザーによる使いやすさテストは、人間がモデルをどのように解釈し、操作するか、また不正利用や敵対的行動の可能性を明らかにする。
• 制限事項、リスク、再現可能性の実践を明確にコミュニケーションすることで、信頼が向上し、MLシステムの一般社会への受容が促進される。