[論文レビュー] AI, Meet Human: Learning Paradigms for Hybrid Decision Making Systems

Clara Punzi, Roberto Pellungrini+3 more|arXiv (Cornell University)|Feb 9, 2024

Complex Systems and Decision MakingDecision Sciences被引用数 3

ひとこと要約

本論文は、ハイブリッド意思決定システムの包括的な分類体系を提案し、学習パラダイムを3つに分類する：人間の監視、拒否するための学習、共に学ぶ。既存の文献を統合して、人間とAIの相互作用をモデル化する概念的・技術的枠組みを提供し、特に高リスク分野における相互学習、信頼性、パフォーマンス最適化に焦点を当てる。

ABSTRACT

Everyday we increasingly rely on machine learning models to automate and support high-stake tasks and decisions. This growing presence means that humans are now constantly interacting with machine learning-based systems, training and using models everyday. Several different techniques in computer science literature account for the human interaction with machine learning systems, but their classification is sparse and the goals varied. This survey proposes a taxonomy of Hybrid Decision Making Systems, providing both a conceptual and technical framework for understanding how current computer science literature models interaction between humans and machines.

研究の動機と目的

• 機械学習システムにおける人間-AI相互作用の統一的分類の欠如に対処すること。
• 意思決定における人間とAIの効果的協働を可能にする主要な学習パラダイムを特定および形式化すること。
• 現在のハイブリッドシステムにおける通信、人間の作業負荷、システムの適応性に関する強み、限界、未解決の課題を分析すること。
• 信頼できる、透明性のある、効果的なハイブリッド意思決定システムを設計するための構造的枠組みを提供することで、今後の研究を支援すること。
• 現在のシステムにおける深刻なギャップ、特に不確実性の伝達不足と多様な人間ユーザーへの適応性の欠如を浮き彫りにすること。

提案手法

• 人間と機械の学習および意思決定プロセスにおける役割に基づいて、ハイブリッド意思決定システムの形式的分類体系を提案する。
• システムを3つのパラダイムに分類する：人間の監視（人間がAIの出力を検証）、拒否するための学習（人間の知識がデータに埋め込まれ、モデルの適応に利用）、共に学ぶ（人間がAIの推論を能動的に是正）。
• 各パラダイムに該当する既存の研究を分析し、不確実性推定、アクティブラーニング、フィードバックに基づくファインチューニングといったコアな技術を同定する。
• 人間と機械エージェントの共同行動をモデル化する概念的枠組みを導入し、その計算的手順と相互作用ダイナミクスを含める。
• 信頼性、透明性、公平性、信頼性の観点からシステムを評価し、双方向学習と相互理解の重要性を強調する。
• 解釈不能な人間のフィードバックや、多様なユーザータイプへの適応が不十分であるなど、技術的および人間中心の課題を特定する。

実験結果

リサーチクエスチョン

• RQ1 意思決定システムにおける人間-AI相互作用は、どのように体系的かつ形式的に分類・定式化できるか？
• RQ2 ハイブリッドシステムにおける人間の監視、拒否するための学習、共に学ぶの3パラダイムの主な違いとトレードオフは何か？
• RQ3 現在のハイブリッドシステムは、不確実性、信頼性、および人間と機械間の相互学習をどのように処理しているか？
• RQ4 通信、人間の作業負荷、および適応性の観点で、ハイブリッドシステムにおける主な未解決課題は何か？
• RQ5 ハイブリッドシステムは、多様な人間ユーザーをサポートし、悪意あるまたは一貫性のない入力からの劣化や悪用を防ぐために、どのように設計すべきか？

主な発見

• 人間の監視、拒否するための学習、共に学ぶという3つの学習パラダイムの分類体系は、ハイブリッド意思決定システムの理解と設計の基盤となるフレームワークを提供する。
• 現在のシステムは、不確実性や推論根拠を人間に適切に伝えることができず、特に人間の監視および拒否するための学習の文脈では、信頼性や効果的な協働を制限している。
• 人間の作業負荷、特にデータアノテーションにおける高コストが、人間-AI協働を阻害しており、その負担を軽減するメカニズムが限られている。
• 既存のシステムは基本的に多言語非対応であり、柔軟性に欠け、多様な人間ユーザーに適応できないか、複数の専門家を効果的に扱えない。
• 悪意あるまたは矛盾する人間の入力は、適切にモデル化されず、保護されないため、汚染や性能劣化のリスクにさらされている。
• 人間と機械がお互いに学び合う双方向学習は、信頼できる、信頼性の高い、適応性のあるハイブリッドシステムを構築するために不可欠である。