[論文レビュー] Towards Better Analysis of Deep Convolutional Neural Networks

Mengchen Liu, Jiaxin Shi+4 more|arXiv (Cornell University)|Apr 24, 2016

Visual Attention and Saliency Detection参考文献 50被引用数 9

ひとこと要約

本稿では、深層畳み込みニューラルネットワーク（CNN）を有向無閉路グラフ（DAG）としてモデル化することで、専門家がハイブリッド可視化を用いてCNNの理解、診断、最適化を可能にする視覚的分析システム、CNNVisを紹介する。階層的矩形パッキング、Held-Karpアルゴリズムに基づく行列再順序付け、およびバイクラスタリングを用いたエッジ束ね技術を組み合わせることで、CNNVisは視覚的ごみを低減し、ニューロンの役割、特徴パターン、学習上の問題を明らかにする。専門家による評価では、重みの停滞やReLUニューロンの死滅問題を診断し、バッチ正規化を導入することでモデルの改善に成功した。

ABSTRACT

Deep convolutional neural networks (CNNs) have achieved breakthrough performance in many pattern recognition tasks such as image classification. However, the development of high-quality deep models typically relies on a substantial amount of trial-and-error, as there is still no clear understanding of when and why a deep model works. In this paper, we present a visual analytics approach for better understanding, diagnosing, and refining deep CNNs. We formulate a deep CNN as a directed acyclic graph. Based on this formulation, a hybrid visualization is developed to disclose the multiple facets of each neuron and the interactions between them. In particular, we introduce a hierarchical rectangle packing algorithm and a matrix reordering algorithm to show the derived features of a neuron cluster. We also propose a biclustering-based edge bundling method to reduce visual clutter caused by a large number of connections between neurons. We evaluated our method on a set of CNNs and the results are generally favorable.

研究の動機と目的

• 数百万のパラメータ間の複雑で非線形な相互作用のため、深層CNNがしばしば『ブラックボックス』と見なされるという解釈可能性の欠如に対処する。
• モデル構造、ニューロンの挙動、学習ダイナミクスの体系的分析を可能にすることで、CNN開発における試行錯誤に依存するのを減らす。
• 機械学習専門家が、活性化、重み、接続の隠れたパターンを可視化することで、モデルの最適化を支援するインタラクティブなツールを提供する。
• 重みの変化、活性化のスパarsity、接続性のパターンを可視化することで、失敗した学習事例をリアルタイムで診断する。
• 視覚的探索によって、不要なニューロン、死んだReLUユニット、構造的非効率性を特定し、迅速なモデル反復を可能にする。

提案手法

• ニューロンをノード、それらの間の接続をエッジとする有向無閉路グラフ（DAG）として深層CNNを定式化する。
• ニューロンクラスタの導出された特徴を可視化するため、階層的矩形パッキングを適用し、機能的グルーピングを明らかにする。
• Held-Karp動的計画法に基づく行列再順序付けアルゴリズムを用いて、ニューロン活性化行列におけるクラスタパターンを強調する。
• バイクラスタリングに基づくエッジ束ね技術を実装し、層間の密集した接続による視覚的ごみを低減する。
• 複数の視点（構造、活性化、重みの変化、接続性）からモデル状態を探索できるインタラクティブな可視化を統合する。
• 将来的な研究のためのオンライン統合を支援する。トレーニング中のリアルタイム更新と代表的なスナップショットの比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 視覚的分析技術をどのように活用することで、深層CNNの解釈可能性を向上させ、モデル開発における試行錯誤の依存度を低下させられるか？
• RQ2 どのような可視化戦略が、深層CNNにおけるニューロンの機能的役割とその相互作用を効果的に明らかにできるか？
• RQ3 深層CNNに存在する数百万の接続から生じる視覚的ごみを、意味のある構造的・機能的インサイトを保持したままどのように低減できるか？
• RQ4 視覚的分析は、勾配消失や死んだReLUユニットといった一般的な学習失敗を専門家が診断・解決するのを支援できるか？
• RQ5 CNNVisから得られる視覚的インサイトは、性能向上に繋がる実行可能なモデル最適化にどの程度まで寄与できるか？

主な発見

• 専門家は、最小限の重み変化と、多数の重みが負であったことから、ReLUユニットで勾配がゼロになる状況を観察し、失敗した学習プロセスを診断できた。
• 可視化により、上位レイヤーのReLUユニットが、線形変換における主に負の重みのため、一貫して負の入力を受けることによって活性化がゼロであることが明らかになった。
• ReLU活性化の前にバッチ正規化層を追加した後、CIFAR-10でテスト誤差9.43%を達成し、収束性と性能が著しく向上した。
• 専門家は、CNNVisが、膨大なコードのインストルメンテーションと手動でのログ検査を要する従来のデバッグ手法よりも迅速な診断を可能にしたと報告した。
• ハイブリッド可視化アプローチにより、専門家は同時に活性化、重み、接続性の複数の視点からモデルを探索でき、モデル理解が向上した。
• バイクラスタリングに基づくエッジ束ねと階層的パッキングにより、大規模なCNNにおける視覚的ごみが効果的に低減され、複雑な構造の解釈可能性が向上した。