[論文レビュー] Interactive Machine Learning: A State of the Art Review

Natnael A. Wondimu, Cédric Buche+1 more|arXiv (Cornell University)|Jul 13, 2022

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

本論文は、インタラクティブ機械学習（iML）の包括的な最新動向レビューを提示し、技術的優位性と応用／タスク指向の視点を統合するハイブリッド分類法を提案する。ボトムアップクラスタリングを用いて、強靭性学習、低リソース学習、探索的学習、iMLの評価といった主要な研究分野を同定するとともに、未だ十分に掘り出されていない分野を明らかにし、敵対的防御、ユーザーエンゲージメント、パフォーマンス評価フレームワークを含む6つの今後の研究方向性を提案する。

ABSTRACT

Machine learning has proved useful in many software disciplines, including computer vision, speech and audio processing, natural language processing, robotics and some other fields. However, its applicability has been significantly hampered due its black-box nature and significant resource consumption. Performance is achieved at the expense of enormous computational resource and usually compromising the robustness and trustworthiness of the model. Recent researches have been identifying a lack of interactivity as the prime source of these machine learning problems. Consequently, interactive machine learning (iML) has acquired increased attention of researchers on account of its human-in-the-loop modality and relatively efficient resource utilization. Thereby, a state-of-the-art review of interactive machine learning plays a vital role in easing the effort toward building human-centred models. In this paper, we provide a comprehensive analysis of the state-of-the-art of iML. We analyze salient research works using merit-oriented and application/task oriented mixed taxonomy. We use a bottom-up clustering approach to generate a taxonomy of iML research works. Research works on adversarial black-box attacks and corresponding iML based defense system, exploratory machine learning, resource constrained learning, and iML performance evaluation are analyzed under their corresponding theme in our merit-oriented taxonomy. We have further classified these research works into technical and sectoral categories. Finally, research opportunities that we believe are inspiring for future work in iML are discussed thoroughly.

研究の動機と目的

• ブラックボックス的でリソース集約的な機械学習の限界を是正するため、iMLを用いた人間中心の学習アプローチを前進させること。
• ロボット工学、パーソナルコンピューティング、クラスタリングなど、iMLの導入が限定的である未だ十分に掘り出されていない応用分野を同定し、体系化すること。
• 技術的優位性と応用テーマに基づくボトムアップクラスタリング手法を用いて、iML研究の構造的分類法を提唱すること。
• 特にパフォーマンス評価、ユーザーエンゲージメント、信頼性の分野において、iMLにおける重要な研究ギャップを浮き彫りにすること。
• 敵対的防御、ユーザーエンゲージメントモデリング、探索的学習、低リソース学習、ユーザーエクスペリエンス設計、評価フレームワークの6つの主要な機会を提示することで、今後の研究を導くこと。

提案手法

• 技術的優位性（例：強靭性、低リソース学習）と応用タスク（例：医療、サイバーセキュリティ）に基づいて、iML研究を分類するため、ボトムアップクラスタリングを適用してハイブリッド分類法を構築した。
• この分類法を用いて、敵対的攻撃防御、探索的機械学習、リソース制限下の学習に関する代表的論文を分析した。
• 技術的カテゴリーと分野別カテゴリーに分類することで、分野特有の導入状況とイノベーションの度合いを評価した。
• パフォーマンス、信頼性、使いやすさの次元で、既存のiMLシステムを評価し、人間のフィードバックループの重要性を強調した。
• 系統的文献レビュー手法を用いて、トレンドのマッピング、繰り返し現れる課題の同定、研究機会の抽出を実施した。
• 現在のiML文献に観察された実証的ギャップ、特に評価とユーザーアクセスデザイン分野に根ざした、今後の研究方向性を提唱した。

実験結果

リサーチクエスチョン

• RQ1 技術的優位性と応用固有のニーズの両方を反映するように、インタラクティブ機械学習を体系的に分類する方法は何か？
• RQ2 医療やロボット工学のような、意思決定が重大な分野、低リソース環境、リアルタイム要件を満たすiMLの適用に直面する主な課題は何か？
• RQ3 人間中心の学習メカニズムは、敵対的攻撃に対するモデルの強靭性と信頼性をどの程度向上させられるか？
• RQ4 iMLパイプラインにおけるユーザーエンゲージメントを定量的にモデリングし最適化することで、パフォーマンスと使いやすさをどの程度向上できるか？
• RQ5 iMLのパフォーマンス評価における最も深刻なギャップは何か？また、共適応型人間-AIシステムのための標準化されたベンチマークはどのように開発できるか？

主な発見

• 検索・リトリーブ、パーソナルコンピューティング、クラスタリングといった分野において、iMLは体系的に応用されておらず、顕著な未活用状態にあることが示された。
• 理論的・実用的利点が明確であるにもかかわらず、農業、医療、教育といったハイリスク分野では、iMLシステムの開発がほとんど進んでいない。これは、透明性と信頼性が求められる分野であるにもかかわらず、顕著なギャップを示している。
• 人間中心の学習パラダイムは、特に敵対的攻撃や低データ環境において、モデルの解釈可能性と強靭性を顕著に向上させる。
• 人間-AI相互作用の主観的かつ共適応的な性質のため、現在のiML評価には標準化されたベンチマークが不足しており、大きな研究ギャップが生じている。
• 探索的機械学習は未だ十分に発展しておらず、リアルタイムの解釈とフィードバック統合が現代のアルゴリズムにiML機能として統合されていない。
• 低リソース学習は、計算リソースとデータ制約が厳しいロボット工学やエッジデバイスにおいて、iMLによって顕著に改善できる。