[論文レビュー] A Survey of Visual Analytics Techniques for Machine Learning

Jun Yuan, Changjian Chen+4 more|ArXiv.org|Aug 21, 2020

Data Visualization and Analytics参考文献 281被引用数 13

ひとこと要約

本論文は、機械学習におけるビジュアルアナリティクス手法について包括的なサーベイを提示し、259件の研究をモデル構築の前後・中という3段階に分類している。構造的な分類法を導入し、データ品質の向上、モデル診断、コンセプトドリフト分析といった重要なタスクを強調するとともに、説明可能性、信頼性、使いやすさを向上させるための6つの今後の研究方向性を同定している。

ABSTRACT

Visual analytics for machine learning has recently evolved as one of the most exciting areas in the field of visualization. To better identify which research topics are promising and to learn how to apply relevant techniques in visual analytics, we systematically review 259 papers published in the last ten years together with representative works before 2010. We build a taxonomy, which includes three first-level categories: techniques before model building, techniques during model building, and techniques after model building. Each category is further characterized by representative analysis tasks, and each task is exemplified by a set of recent influential works. We also discuss and highlight research challenges and promising potential future research opportunities useful for visual analytics researchers.

研究の動機と目的

• 機械学習パイプライン全体にわたるビジュアルアナリティクス手法について、体系的かつ包括的なレビューを提供すること。
• 過去10年間における機械学習のためのビジュアルアナリティクスにおける主要な研究トレンドと代表的論文を特定・分類すること。
• モデルの説明可能性、データ品質、システムの使いやすさを向上させるうえで未だ十分に検討されていない研究分野や未解決の課題を浮き彫りにすること。
• 研究者および実務家が、可視化が機械学習ワークフローにおける信頼性、信頼性、解釈可能性をどのように向上させられるかを理解するのを支援すること。
• 機械学習ライフサイクルに基づく分類法を確立し、前処理・実行中・後処理の各フェーズをカバーする。タスク固有の例を含む。

提案手法

• 2010年から2020年までに、トップクラスのビジュアライゼーション会議（例：InfoVis, VAST, IEEE TVCG, SciVis）で発表された259件の論文を体系的かつ手動でレビューした。
• ビジュアルアナリティクス手法を3段階に分類した：モデル構築前（データおよび特徴量の品質）、モデル構築中（モデル診断および調整）、モデル構築後（モデルおよびデータの理解）。
• 各段階における代表的な分析タスクを要約した。例：データ品質の評価、特徴量選択、モデル解釈、コンセプトドリフト検出。
• 各タスクを例示する代表的論文を選定し、インタラクティブで説明可能なビジュアライゼーション手法に重点を置いた。
• 先行するサーベイおよびオントロジーの知見を統合し、マルチモーダル学習やオンラインコンセプトドリフトといった新興トレンドをカバーする分類法を洗練させた。
• 現在の文献における繰り返し現れる課題とギャップの統合的分析を通じて、6つの主要な今後の研究方向性を同定した。

実験結果

リサーチクエスチョン

• RQ1 ビジュアルアナリティクス手法は、機械学習モデルのトレーニング前に、データおよび特徴量の品質をどのように改善できるか？
• RQ2 トレーニング中における機械学習モデルのリアルタイム診断、解釈、インタラクティブな最適化を支援するビジュアライゼーション戦略は何か？
• RQ3 デプロイ後におけるモデルの挙動とデータ関係の理解を、特にマルチモーダルデータのような複雑なシナリオでビジュアルアナリティクスはどのように支援するか？
• RQ4 ストリーミング機械学習アプリケーションにおけるコンセプトドリフトの検出・分析における主な課題は何か？また、人間を含む診断プロセスを支援するビジュアライゼーションはどのように機能するか？
• RQ5 説明可能性と信頼性を向上させるために、機械学習とビジュアルアナリティクスを統合するうえで、最も有望な今後の研究方向性は何か？

主な発見

• 本サーベイでは、トップクラスのビジュアライゼーション会議から259件の関連論文を同定し、機械学習におけるビジュアルアナリティクスを理解するための包括的な基盤を構築した。
• モデル構築の前・中・後という3段階の分類法—前処理・実行中・後処理—は、機械学習ライフサイクル全体にわたるビジュアルアナリティクス手法の整理に効果的である。
• モデル構築前の主要なタスクには、データ品質の評価、欠損データの処理、特徴量選択が含まれる。ビジュアライゼーションにより、直感的なデータの点検やラベルの修正が可能になる。
• モデル構築中には、インタラクティブなビジュアルインターフェースを通じて、モデル診断、ハイパーパrameterチューニング、深層ニューラルネットワークのような複雑なモデルの解釈が支援される。
• モデル構築後の分析には、モデル予測の理解、データドリフトの検出、マルチモーダルデータの関係性の解釈が含まれる。ビジュアライゼーションにより、時間経過に伴うデータ分布の比較分析が可能になる。
• 6つの主要な今後の研究方向性が同定された：弱教師あり学習におけるデータ品質の向上、オンラインでのモデル診断の実現、知能的なモデル最適化の支援、マルチモーダルデータ理解の強化、人間を含むコンセプトドリフト分析の支援、統合的マルチモーダル表現のための統合可視化の開発。