[論文レビュー] CNNComparator: Comparative Analytics of Convolutional Neural Networks

Haipeng Zeng, Hammad Haleem+3 more|arXiv (Cornell University)|Oct 15, 2017

Neural Networks and Applications参考文献 20被引用数 27

ひとこと要約

この論文では、訓練済み畳み込みニューラルネットワーク（CNN）の異なる訓練エポック（例：10回目 vs. 100回目エポック）における2つのスナップショットを比較するインタラクティブなビジュアルアナリティクスシステム、CNNComparatorを提示する。層、チャネル、ニューロンごとのパラメータの違いと特徴マップの活性化パターンを分析することで、モデルの重みと特徴表現の進化を明らかにし、性能向上や誤分類に関連する重要な変化を同定できる。

ABSTRACT

Convolutional neural networks (CNNs) are widely used in many image recognition tasks due to their extraordinary performance. However, training a good CNN model can still be a challenging task. In a training process, a CNN model typically learns a large number of parameters over time, which usually results in different performance. Often, it is difficult to explore the relationships between the learned parameters and the model performance due to a large number of parameters and different random initializations. In this paper, we present a visual analytics approach to compare two different snapshots of a trained CNN model taken after different numbers of epochs, so as to provide some insight into the design or the training of a better CNN model. Our system compares snapshots by exploring the differences in operation parameters and the corresponding blob data at different levels. A case study has been conducted to demonstrate the effectiveness of our system.

研究の動機と目的

• CNNのパラメータと特徴マップの活性化が訓練中にどのように変化するかを理解する課題に対処すること。特に、モデル性能が時間経過とともに向上する場合に焦点を当てる。
• ブラックボックスなモデル解釈の限界を克服し、同一の訓練プロセスからの2つのモデルスナップショットを対比可能なスケーラブルでインタラクティブなビジュアライゼーションシステムを提供すること。
• ユーザーがどの層、チャネル、またはニューロンが顕著なパラメータ変化を経験しているかを特定し、それらが特徴学習と分類精度にどのように影響しているかを支援すること。
• 特定のモデルが後期の訓練段階でより良い性能を示す理由を解明すること。例えば、細部の特徴の向上や、特定の特徴（例：色）に過剰に適合することで生じる過学習による誤分類の原因を明らかにすること。
• まず、訓練内比較（intra-training comparison）というより単純なケースを解決することで、将来の異なったアーキテクチャやハイパーパrameterを持つモデルの比較の基盤を提供すること。

提案手法

• システムは、モデル、層、チャネル、ニューロンレベルでの差分を分析するトップダウンで多段階のビジュアライゼーションアプローチを採用する。
• 4つのリンクされたビューワーを含む：(1) ネットワークアーキテクチャビュー（構造的差異を表示）；(2) 差分分布ビュー（各層ごとのパラメータ差分の分布を可視化）；(3) 卷積演算ビュー（2次元重み行列と活性化マップを比較）；(4) 性能比較ビュー（モデルの正確性とトップ活性化パッチを対比表示）。
• パラメータ差分は、2つのスナップショットにおける対応する層の重み行列間のユークリッド距離を用いて計算される。
• システムはインタラクティブフィルタリングをサポートしており、凡例のしきい値を調整することで、小さなパラメータ変化を非表示にでき、注目すべき変化に集中して分析できる。
• トップ活性化値に対応する画像パッチを並べて表示することで、異なるエポックにおける特徴学習の違いを比較可能である。
• このアプローチは、アレクサンネットに適用されたが、VGG や GoogleNet などの他のCNNアーキテクチャにも拡張可能である。これは、共通する畳み込み演算構造を有しているためである。

実験結果

リサーチクエスチョン

• RQ1 訓練の初期段階と後期段階との間で、CNNモデルの学習済みパラメータはどのように変化するのか。特に、どの層やニューロンが最も顕著な更新を経験しているか。
• RQ2 モデルパラメータの変化と、正確性や特徴の識別能の向上といったモデル性能の向上の関係は何か。
• RQ3 特徴マップの活性化パターン（blobデータ）は訓練エポックに伴いどのように変化するのか。また、それらはモデルが特定の画像特徴に注目していることについて何を明らかにするか。
• RQ4 2つのスナップショットのビジュアル比較により、特定の特徴（例：支配的ないンクやテクスチャ）に過学習していることによる誤分類の原因を特定できるか。
• RQ5 直接的なパラメータの確認がスケールと複雑さのため不可能な場合、インタラクティブビジュアライゼーションは、CNNの内部的進化を理解するのにどのように支援するか。

主な発見

• 差分分布ビューにより、ほとんどの層で微小なパラメータ変化が支配的であることが判明したが、顕著な変化は特定のニューロンやチャネルに局在していた。
• 100エポック経過後、10エポックのものと比較して、より詳細で複雑な特徴マップの活性化パターンが観察された。特に、微細な画像パッチの捉え方において顕著な進化が見られた。
• 100エポックでの高い正確性にもかかわらず、モデルは依然としてダリアをマーガレットと誤分類した。これは、クラス14の訓練データで黄色の特徴が支配的であったため、黄色に過学習していたことが原因であった。
• 畳み込み演算ビューにより、パラメータの変化が一様に分布しているわけではなく、特定の領域に集まっていることが明らかになった。これは、データパターンに応じた局所的学習が行われていることを示唆している。
• インタラクティブフィルタリングにより、ユーザーは高影響度のパラメータ変化を隔離して分析でき、大規模なモデル進化の可視化の混雑さを軽減し、解釈可能性を向上させた。
• 本システムは、同一訓練プロセスからのスナップショット比較が、特徴の精錬や過学習の可能性といった訓練ダイナミクスに関する意味のあるインサイトを明らかにできることを成功裏に示した。