[論文レビュー] DeepTracker: Visualizing the Training Process of Convolutional Neural Networks

Dongyu Liu, Weiwei Cui+3 more|arXiv (Cornell University)|Aug 26, 2018

Explainable Artificial Intelligence (XAI)参考文献 32被引用数 24

ひとこと要約

DeepTrackerは、数百万回の学習イテレーションにわたる畳み込みニューラルネットワーク（CNN）の学習ダイナミクスを可視化することで、専門家がニューロン重み、検証精度、クラス別パフォーマンスなどの異種データを探索できるビジュアルアナリティクスシステムである。階層的インデックス、スモールマルチプル、およびキューブ風の相関可視化を用いることで、隠れたパターンや異常を明らかにし、ResNet-50のImageNetでの学習における理解と最適化を顕著に向上させる。

ABSTRACT

Deep convolutional neural networks (CNNs) have achieved remarkable success in various fields. However, training an excellent CNN is practically a trial-and-error process that consumes a tremendous amount of time and computer resources. To accelerate the training process and reduce the number of trials, experts need to understand what has occurred in the training process and why the resulting CNN behaves as such. However, current popular training platforms, such as TensorFlow, only provide very little and general information, such as training/validation errors, which is far from enough to serve this purpose. To bridge this gap and help domain experts with their training tasks in a practical environment, we propose a visual analytics system, DeepTracker, to facilitate the exploration of the rich dynamics of CNN training processes and to identify the unusual patterns that are hidden behind the huge amount of training log. Specifically,we combine a hierarchical index mechanism and a set of hierarchical small multiples to help experts explore the entire training log from different levels of detail. We also introduce a novel cube-style visualization to reveal the complex correlations among multiple types of heterogeneous training data including neuron weights, validation images, and training iterations. Three case studies are conducted to demonstrate how DeepTracker provides its users with valuable knowledge in an industry-level CNN training process, namely in our case, training ResNet-50 on the ImageNet dataset. We show that our method can be easily applied to other state-of-the-art "very deep" CNN models.

研究の動機と目的

• CNN学習プロセスの複雑で動的な挙動を理解するための詳細でインタラクティブな可視化ツールの不足に対処すること。
• ドメイン専門家が数百万回のイテレーションにわたる大規模で異種の学習ログ（例：重み、勾配、検証結果）を効率的に探索できるようにすること。
• ResNet-50のような非常に深いネットワークにおけるレイヤー別およびクラス別学習挙動の比較分析を支援すること。
• 学習中に生じる異常なパターンや異常を特定し、問題の兆候や最適化の機会を特定すること。
• 生の学習ログと実行可能なインサイトの間のギャップを埋め、CNN開発の加速を支援すること。

提案手法

• 階層的インデックス機構を用いて、大規模な学習ログを効率的に格納・取得し、複数の詳細レベルでのリアルタイム探索を可能にする。
• スモールマルチプルを用いて、異なる学習イテレーションにおけるレイヤーおよびクラスごとの主要な指標（例：正確度、損失）の変化を可視化する。
• 新規のキューブ風可視化を導入し、三次元の3つの次元（ニューロン重み、検証画像、学習イテレーション）にわたって、異種データタイプ間の複雑な相関関係を明らかにする。
• スケーラブルな分析を維持するため、生データ量を削減しながらも重要なダイナミクスを保持するダウンサンプリング戦略を適用する。
• スライディングウィンドウ統計を用いたルールベースの異常検出を実装し、異常なパrameter変化やパフォーマンス変化をフラグとして特定する。
• 検証、レイヤー、相関の3つのビュー間でフィルタリング、集約、インタラクティブリンクを統合し、連携された探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 専門家は、数百万回のイテレーションおよび数千のパrameterにわたるCNN学習ダイナミクスの進化を、どのように効果的に探索できるか？
• RQ2 スケーラブルなビジュアルアナリティクスを用いることで、重みの更新、正確度、またはクラス別パフォーマンスにおける隠れたパターンや異常をどのように検出できるか？
• RQ3 数値パrameter、画像、分類結果といった異種データタイプをどのように統合可視化し、複雑な相関関係を明らかにできるか？
• RQ4 ビジュアルアナリティクスは、ImageNet上でのResNet-50のような大規模CNN学習の理解と最適化を顕著に向上させることができるか？
• RQ5 インタラクティブなビジュアルツールは、CNNハイパーパrameterチューニングやモデルデバッグにおける試行錯誤の負担をどのように軽減できるか？

主な発見

• DeepTrackerは、数テラバイトを超える学習ログを持つImageNet上でのResNet-50の学習ダイナミクスを成功裏に可視化し、階層的インデックスと効率的なデータアクセスによりインタラクティブな探索を可能にした。
• キューブ風の可視化は、ニューロン重み、検証精度、学習イテレーションの間の複雑な多次元相関関係を効果的に明らかにし、明らかでない関係性を特定した。
• 専門家は、システムのベーシックなビジュアルエンコーディング（ベア・トゥ・メタル）を用いて、予期されたものも予期しないものも含めた意味のあるパターンを同定した。これは、明確さとパフォーマンスを重視したため、複雑なビジュアルマッピングよりも好まれた。
• 階層的スモールマルチプルとフィルタリング機能により、数千のエンティティを同時にカバーするレイヤー別およびクラス別挙動の比較が可能になった。
• ルールベースのしきい値を用いた異常検出により、突然の正確度低下や重みの飽和といった異常な学習挙動が効果的にフラグとして特定され、後にドメイン専門家によって検証された。
• システムは高いスケーラビリティを示し、数十のレイヤーおよび画像クラスをリアルタイムで分析可能であったが、極めて大規模な状況（数百〜数千のスモールマルチプル）ではパフォーマンスが低下した。