[論文レビュー] Quantitative Performance Assessment of CNN Units via Topological Entropy Calculation

Yang Zhao, Hao Zhang|arXiv (Cornell University)|Mar 17, 2021

Topological and Geometric Data Analysis被引用数 5

ひとこと要約

本稿では、特徴マップの持続的ホモロジーに基づくトポロジカル・エントロピーとしての特徴エントロピーを提案し、スケーリング不変な方法で畳み込みニューラルネットワーク（CNN）ユニットの性能を定量的に評価する。同じクラスに属する画像間での特徴マップ内の空間的パターンの安定性を評価することで、特徴エントロピーは有効なユニット（高エントロピー）と無効なユニット（低エントロピー）を特定し、トレーニング損失および一般化能力と強い相関を示す。これにより、精度の低下を最小限に抑えつつ効果的なネットワークのpruningが可能となる。

ABSTRACT

Identifying the status of individual network units is critical for understanding the mechanism of convolutional neural networks (CNNs). However, it is still challenging to reliably give a general indication of unit status, especially for units in different network models. To this end, we propose a novel method for quantitatively clarifying the status of single unit in CNN using algebraic topological tools. Unit status is indicated via the calculation of a defined topological-based entropy, called feature entropy, which measures the degree of chaos of the global spatial pattern hidden in the unit for a category. In this way, feature entropy could provide an accurate indication of status for units in different networks with diverse situations like weight-rescaling operation. Further, we show that feature entropy decreases as the layer goes deeper and shares almost simultaneous trend with loss during training. We show that by investigating the feature entropy of units on only training data, it could give discrimination between networks with different generalization ability from the view of the effectiveness of feature representations.

研究の動機と目的

• 多様なアーキテクチャにわたる個々のCNNユニット性能を評価する一般的でスケーリング不変な指標の欠如に対処すること。
• 活性化の大きさに依存せずに、ユニットの特徴表現におけるグローバルな空間的パターンの安定性に基づき、有効なユニットを同定すること。
• 重みのスケーリングに対して不変であり、意味のある特徴パターンとランダムなパターンを区別できる、普遍的で定量的なユニット状態の指標を提供すること。
• 訓練データのみを用いて、一般化能力に優れたモデルを特徴エントロピーで特定できることを示すこと。
• 特徴エントロピーに基づくチャネル選択による、性能駆動型の効果的なネットワークpruningを可能にすること。

提案手法

• 同じクラスの画像の特徴マップの持続的ホモロジーから得られるトポロジカル・バーコードの情報エントロピーとして特徴エントロピーを定義する。
• 持続的ホモロジーを用いて、ユニット活性化における空間的パターンの安定性を捉えるトポロジカル不変量（バーコード）を抽出する。
• シャノンエントロピーとしてバーコード分布のエントロピーを計算し、空間的パターンの規則性と一貫性を反映する。
• 複数のクラスにわたる特徴エントロピーを平均化して、モデル全体のレイヤー単位またはユニット単位のスコアを取得する。
• レイヤー単位のpruning戦略を適用し、特徴エントロピーがより高いフィルタを削除することで、FLOPsとパラメータ数を削減する。
• SGDと学習率スケジュールを用いて微調整を行い、pruning後の性能回復を図る。

実験結果

リサーチクエスチョン

• RQ1 トポロジカル・エントロピー指標は、スケーリング不変で普遍的に適用可能な、個々のCNNユニット性能を評価する指標を提供できるか？
• RQ2 トレーニング中に特徴エントロピーはどのように変化するか？また、標準的なトレーニング損失および一般化能力と相関するか？
• RQ3 特徴エントロピーは、意味のある特徴を表すユニットと、ランダムまたはカオス的なパターンを生成するユニットを効果的に区別できるか？
• RQ4 特徴エントロピーは、モデルの精度を保持しながら、効果的なネットワークpruningをどの程度効果的に導けるか？
• RQ5 特徴エントロピーは、訓練データのみを用いて、異なる一般化能力を持つモデルを区別できるか？

主な発見

• ネットワークの深さが増すにつれて特徴エントロピーは単調に減少し、レイヤー間で空間的パターン表現が段階的に洗練されていることを示している。
• 特徴エントロピーのトレンドはトレーニング損失曲線と密接に一致しており、ネットワークの学習ダイナミクスを追跡していることが示唆される。
• 重みのスケーリング操作に対しても特徴エントロピーは不変であり、関数を保存するアーキテクチャ変更に対しても頑健である。
• 高エントロピーのユニットは一貫した意味のある空間的特徴を表すが、低エントロピーのユニットはカオス的またはランダムなパターンを示す。
• 特徴エントロピーを用いたpruningは競争力のある性能を示す：50%のpruning比において、元の精度の99.91%（0.09%の低下）を維持し、L1ノルムおよびAPoZを上回る精度保持性能を示した。
• 特徴エントロピーの計算に100クラスを用いるのが最適であり、150または200クラスに増加させても利益はわずかにしか得られない。