[論文レビュー] Human-in-the-loop Machine Learning: A Macro-Micro Perspective

Jiangtao Wang, Bin Guo+1 more|arXiv (Cornell University)|Feb 21, 2022

Anomaly Detection Techniques and Applications被引用数 11

ひとこと要約

本論文は、人間が参加する機械学習（HML）のマクロ・ミクロフレームワークを提示し、人間の関与が機械学習のライフサイクル全体に及ぼす影響を分析する。主な課題を特定し、各段階における人間統合の状況をレビューし、共同型AIシステムにおけるギャップを埋めるための今後の研究方向性を提示する。

ABSTRACT

Though technical advance of artificial intelligence and machine learning has enabled many promising intelligent systems, many computing tasks are still not able to be fully accomplished by machine intelligence. Motivated by the complementary nature of human and machine intelligence, an emerging trend is to involve humans in the loop of machine learning and decision-making. In this paper, we provide a macro-micro review of human-in-the-loop machine learning. We first describe major machine learning challenges which can be addressed by human intervention in the loop. Then we examine closely the latest research and findings of introducing humans into each step of the lifecycle of machine learning. Finally, we analyze current research gaps and point out future research directions.

研究の動機と目的

• 完全に自動化された機械学習システムの限界を補完する人間知能の役割を検討すること。
• 人間が参加する仕組みによって恩恵を受ける機械学習の核心的課題を同定すること。
• 機械学習ライフサイクルの全段階にわたる人間統合に関する最近の研究を分析すること。
• 機械学習分野における人間-AI協働分野における現在の研究ギャップを明らかにすること。
• 強固でスケーラブルな人間が参加する機械学習システムを発展させるための今後の研究方向性を提案すること。

提案手法

• データ収集からモデルデプロイメントに至るまで、機械学習ライフサイクル全体にわたる人間が参加する機械学習の体系的レビューを実施すること。
• 人間の関与をマクロレベル（システム設計、ポリシー、ガバナンス）とミクロレベル（インタラクティブフィードバック、ラベリング、是正）に分類すること。
• データ収集、特徴工学、モデルトレーニング、評価、デプロイメントの各段階における人間の貢献を分析すること。
• 人間フィードバックメカニズム、アクティブラーニング、インタラクティブAIシステムに関する最近の研究の知見を統合すること。
• 戦略的（マクロ）および運用的（ミクロ）な人間-AI協働の両面を評価する二重視点のレンズを用いること。
• 機械学習パイプラインへの人間入力統合における技術的、倫理的、使いやすさの課題を特定すること。

実験結果

リサーチクエスチョン

• RQ1 どのような機械学習の課題が、人間が参加する仕組みによって効果的に解決可能か？
• RQ2 人間は機械学習ライフサイクルの各段階にどのように意味的に統合可能か？
• RQ3 人間が参加する機械学習分野における現在の制限およびギャップは何か？
• RQ4 機械学習における人間-AI協働分野における主な技術的、倫理的、使いやすさの課題は何か？
• RQ5 強固でスケーラブルな人間が参加する機械学習システムを進歩させるために必要な今後の研究方向性は何か？

主な発見

• 人間が参加するアプローチは、データが不足している、または曖昧な状況において、モデルのパフォーマンスを顕著に向上させる。
• 人間のフィードバックは、医療や法的分野などハイリスク分野において、モデルの解釈可能性と公平性を向上させる。
• アクティブラーニングやインタラクティブラベリングといったミクロレベルの干渉は、正確性を維持しつつアノテーションコストを削減する。
• ポリシー設計や価値の整合性といったマクロレベルの人間の関与は、システムの信頼性と長期的信頼性を向上させる。
• 現在の研究ギャップには、一貫性のない評価指標、人間フィードバック収集における標準化の欠如、インタラクティブシステムのスケーラビリティの制限が含まれる。
• 今後の研究は、適応型人間-AIインターフェース、人間フィードバックを伴う生涯学習、人間が参加する設計パターンの形式化に焦点を当てるべきである。