[論文レビュー] The Roles and Modes of Human Interactions with Automated Machine Learning Systems

Thanh Tung Khuat, David Jacob Kedziora+1 more|arXiv (Cornell University)|May 9, 2022

Explainable Artificial Intelligence (XAI)被引用数 11

ひとこと要約

本論文は、自動機械学習（AutoML）システムにおける人間の相互作用の役割とモードの変化を調査し、AutoMLが自律的でオープンワールド学習へと進化するに伴い、人間の関与が作業的開発から監視的・戦略的監視へとシフトすると提案している。研究では、信頼性、説明可能性、公平性、推論統合といった重要なHCIの課題を特定し、複雑で動的な環境における人間-AutoML連携の今後の研究方向性を提示している。

ABSTRACT

As automated machine learning (AutoML) systems continue to progress in both sophistication and performance, it becomes important to understand the `how' and `why' of human-computer interaction (HCI) within these frameworks, both current and expected. Such a discussion is necessary for optimal system design, leveraging advanced data-processing capabilities to support decision-making involving humans, but it is also key to identifying the opportunities and risks presented by ever-increasing levels of machine autonomy. Within this context, we focus on the following questions: (i) How does HCI currently look like for state-of-the-art AutoML algorithms, especially during the stages of development, deployment, and maintenance? (ii) Do the expectations of HCI within AutoML frameworks vary for different types of users and stakeholders? (iii) How can HCI be managed so that AutoML solutions acquire human trust and broad acceptance? (iv) As AutoML systems become more autonomous and capable of learning from complex open-ended environments, will the fundamental nature of HCI evolve? To consider these questions, we project existing literature in HCI into the space of AutoML; this connection has, to date, largely been unexplored. In so doing, we review topics including user-interface design, human-bias mitigation, and trust in artificial intelligence (AI). Additionally, to rigorously gauge the future of HCI, we contemplate how AutoML may manifest in effectively open-ended environments. This discussion necessarily reviews projected developmental pathways for AutoML, such as the incorporation of reasoning, although the focus remains on how and why HCI may occur in such a framework rather than on any implementational details. Ultimately, this review serves to identify key research directions aimed at better facilitating the roles and modes of human interactions with both current and future AutoML systems.

研究の動機と目的

• 最先端のAutoMLシステムにおける人間-コンピュータ相互作用（HCI）が、開発・展開・保守の各段階でどのように機能しているかを理解すること。
• AutoMLフレームワーク内におけるユーザーのタイプやステークホルダーごとにHCIの期待が異なるかどうかを検討すること。
• AutoMLシステムに対する人間の信頼を構築し、広範な受容を確保するための戦略を同定すること。
• AutoMLシステムがより自律的かつオープンワールド学習が可能になるにつれ、HCIの性質がどのように変化するかを調査すること。
• 自律的AutoMLシステムに推論と知識駆動型アプローチを統合するための今後の研究方向性をマッピングすること。

提案手法

• HCI分野の既存文献を批判的にレビューし、ユーザーインターフェース設計、バイアス低減、AIにおける信頼性といった分野との関連性をマッピングする。
• 問題定義、データエンジニアリング、モデル開発、展開、監視を含む、機械学習ライフサイクル全体におけるステークホルダーの役割を分析する。
• 将来のAutoMLの進化を2段階に分けて予測する：クローズドワールド自律性（完全自動化、制限付きタスク）とオープンワールド自律性（文脈に適応し、動的学習が可能な状態）。
• データ駆動型探索と知識駆動型推論を融合させたハイブリッドアーキテクチャを検討し、事前に定義された文脈を超えた一般化を可能にする。
• 因果的推論、抽象化、論理的一般化をAutoMLに統合する可能性を評価し、オープンワールド学習を支援する。
• 特に監視、解釈、イノベーションの役割において、人間-AutoML連携を最適化するための見解を調査する。

実験結果

リサーチクエスチョン

• RQ1 現在のAutoMLシステムにおける人間の相互作用は、機械学習ワークフローの各段階でどのように異なるか？
• RQ2 データサイエンティスト、ドメインエキスパート、エンドユーザーなどの異なるステークホルダーは、AutoMLシステムにおけるHCIに異なる期待を持っているか？
• RQ3 人間の信頼性とAutoMLシステムへの受容に影響を与える要因は何であり、それらを最適化するにはどうすればよいか？
• RQ4 AutoMLシステムが自律的かつオープンワールド学習へと進化するにつれ、人間との相互作用の性質はどのように変化するだろうか？
• RQ5 AutoMLシステムが動的環境で一般化を達成するための推論と知識駆動型学習を統合するための道筋は何か？

主な発見

• AutoMLにおける人間の関与は、アクティブなモデル開発から、特に問題定義や結果の解釈の段階における監視的・戦略的役割へとシフトしている。
• AutoMLシステムへの信頼性は、説明可能性、公平性、およびシステム出力における人間の認知バイアスの低減に強く影響を受ける。
• 現在のAutoMLシステムは、明確に定義された制約を持つクローズドワールドの状況に主に限定されており、新規または動的環境への適応性に制限がある。
• データ駆動型探索と知識駆動型推論を統合することは、AutoMLにおけるオープンワールド学習を可能にする有望なが、まだ十分に検討されていない道筋である。
• AutoMLシステムがより自律的になると、それらはツールではなく協働パートナーとして認識されるようになり、新たな相互作用パラダイムの必要性が生じる。
• システムの自律性が向上し、問題の制約が緩和されるに伴い、人間の監視メカニズムの強化が今後の研究で優先されるべきである。