[論文レビュー] ActiVis: Visual Exploration of Industry-Scale Deep Neural Network Models

Minsuk Kahng, Pierre Andrews+2 more|arXiv (Cornell University)|Apr 6, 2017

Data Visualization and Analytics参考文献 25被引用数 15

ひとこと要約

ActiVis は、モデルアーキテクチャとニューロン活性の協調的なビューアーを統合することで、インスタンスレベルおよびサブセットレベルの探索を統合し、産業スケールの深層ニューラルネットワークの詳細な検査を可能にするインタラクティブなビジュアルアナリティクスシステムです。大規模なデータセットおよびモデルのスケーラブルで柔軟な分析を支援し、実務者が視覚的パターンの発見を通じて誤分類の原因を特定し、モデル設計を最適化するのを支援します。

ABSTRACT

While deep learning models have achieved state-of-the-art accuracies for many prediction tasks, understanding these models remains a challenge. Despite the recent interest in developing visual tools to help users interpret deep learning models, the complexity and wide variety of models deployed in industry, and the large-scale datasets that they used, pose unique design challenges that are inadequately addressed by existing work. Through participatory design sessions with over 15 researchers and engineers at Facebook, we have developed, deployed, and iteratively improved ActiVis, an interactive visualization system for interpreting large-scale deep learning models and results. By tightly integrating multiple coordinated views, such as a computation graph overview of the model architecture, and a neuron activation view for pattern discovery and comparison, users can explore complex deep neural network models at both the instance- and subset-level. ActiVis has been deployed on Facebook's machine learning platform. We present case studies with Facebook researchers and engineers, and usage scenarios of how ActiVis may work with different models.

研究の動機と目的

• 産業現場で使用される複雑で大規模な深層ニューラルネットワークの解釈を課題として取り上げ、モデルがしばしばブラックボックスとして扱われる現状に対処すること。
• 画像データに限定して焦点を当てたり、多様なデータタイプやスケーラブルなデータセットのサポートが不足している既存の可視化ツールの限界を克服すること。
• モデルの解釈性とデバッグ効率を向上させるために、インスタンスレベルおよびサブセットレベルの両方の探索を支援するシステムを設計すること。
• 実世界の機械学習プラットフォーム（例：Facebook のもの）で使用される多様なモデルおよびデータセットに柔軟かつ汎用的に適用可能なツールを保証すること。
• 高レベルのモデルアーキテクチャの概要と詳細な活性化分析を統合し、広範な理解と詳細な検査の両方を支援すること。

提案手法

• 計算グラフの概要を用いてモデルアーキテクチャを表現し、ナビゲーションを可能にする協調的なビジュアルインターフェースを採用する。
• ニューロン活性マトリクスビューを用いて、特定のインスタンスまたはユーザー定義のデータサブセットに対するニューロンの反応を可視化する。
• インスタンス活性化の2次元投影をサポートし、クラス間でのパターンの発見と比較を可能にする。
• 生データの属性、変換された特徴量、または出力結果を用いてサブセットを定義できるようにし、柔軟で多角的な分析を可能にする。
• 個々のインスタンスや活性化パターンへの選択、比較、詳細な調査をリアルタイムで行える相互作用を統合する。
• モデルアーキテクチャビューと活性化ビューの間に密接な結合を実現し、高レベルの構造から局所的なニューロン行動へのシームレスなナビゲーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 視覚的アナリティクスツールは、産業環境における大規模な深層ニューラルネットワークの効果的な解釈をどのように支援できるか？
• RQ2 統一インターフェース上でインスタンスレベルおよびサブセットレベルの深層学習モデルの探索を可能にする設計パターンは何か？
• RQ3 可視化システムは、産業用データセットおよびモデルの複雑さとスケールに対応してどのようにスケーリングできるか？
• RQ4 協調的なビューアーは、ユーザーがモデルの挙動とパフォーマンスを理解するのをどのように向上させるか？
• RQ5 視覚的ツールは、実際のモデルトレーニングおよびハイパーパramータチューニング意思決定をどのように支援できるか？

主な発見

• ActiVis を用いることで、ユーザーは活性化パターンの疎らさを観察し、使用率の低いニューロンを特定でき、モデルの単純化の可能性を示唆した。
• 本システムは、サブセット間で類似した活性化パターンが見られる場合、予測に寄与するニューロンを特定できることを明らかにした。
• 事例研究では、ユーザーが異なるインスタンスサブセット間での活性化パターンを比較することで、誤分類の原因を特定できた。
• モデルアーキテクチャの可視化と活性化分析の統合により、認知的負荷が低下し、モデルデバッグが迅速化した。
• エンジニアは、ActiVis が冗長なニューロンの削減といったハイパーパramータチューニング意思決定を支援したと報告した。
• 本ツールは Facebook の機械学習プラットフォームに正常にデプロイされ、複数のチームがモデルの解釈と最適化に使用した。