[論文レビュー] Distilling Critical Paths in Convolutional Neural Networks

Fuxun Yu, Zhuwei Qin+1 more|arXiv (Cornell University)|Oct 28, 2018

Advanced Neural Network Applications参考文献 5被引用数 20

ひとこと要約

本論文では、高レベルの畳み込み層におけるCNNの最もクラスに特化したニューロンのみを特定・保持する『クリティカルパス蒸留』という手法を提案する。再訓練を必要とせず、強力なモデル圧縮を実現する。フィルタの活性化、勾配、可視化の分析により、個々のクラスに特化した「クリティカルパス」を同定し、90%のニューロン削減と11.4MBのモデルサイズを達成した。1対多分類タスクにおいて平均98.6%の真陽性率を達成した。

ABSTRACT

Neural network compression and acceleration are widely demanded currently due to the resource constraints on most deployment targets. In this paper, through analyzing the filter activation, gradients, and visualizing the filters' functionality in convolutional neural networks, we show that the filters in higher layers learn extremely task-specific features, which are exclusive for only a small subset of the overall tasks, or even a single class. Based on such findings, we reveal the critical paths of information flow for different classes. And by their intrinsic property of exclusiveness, we propose a critical path distillation method, which can effectively customize the convolutional neural networks to small ones with much smaller model size and less computation.

研究の動機と目的

• 高レベルのCNNフィルタに、クラス固有で排他的な情報伝達経路が存在するかを調査すること。
• タスク固有の寄与度に基づいて、非必須なフィルタを段階的に削除する方法を開発すること。
• 再訓練を伴わずに、単一クラスの意思決定経路を蒸留することで、効率的かつタスク固有のモデル展開を可能にすること。
• 活性化、勾配、可視化解析によってクリティカルパスが同定可能であることを示し、構造的圧縮を可能にすること。

提案手法

• クラス間の平均絶対活性化を用いて、フィルタの応答性を測定することで、クリティカルニューロンを同定する。
• 1次近似のテイラー展開を用いて寄与度インデックスを計算し、特定クラスのログティスに与えるフィルタの影響を定量化する。
• 活性化最大化（AM）可視化を用いて、フィルタの機能とクラスへの偏りを解釈・検証する。
• 活性化、寄与度インデックス、AMの結果を統合し、個々のクラスごとの排他的なクリティカルパスの存在を相互に検証する。
• 平均活性化と寄与度インデックスの積に基づいてフィルタを選別し、圧縮を制御するための予約率（例：10%）を設定する。
• 高層のすべての非クリティカルフィルタを削除し、ログティス層のバイアスをゼロに設定し、1対多分類用に蒸留されたネットワークを展開する。

実験結果

リサーチクエスチョン

• RQ1 高レベルのCNNフィルタは、特定の1つのクラスまたは少数のクラスに特化した特徴を学習しているか？
• RQ2 特定のクラスの情報伝達を、明確で最小限のニューロン集合（すなわち「クリティカルパス」）で追跡できるか？
• RQ3 クラス固有のニューロンの排他的性が、再訓練なしに効果的なモデル蒸留を可能にするか？
• RQ4 クリティカルパス蒸留は、1対多タスクにおける高い分類精度を維持しつつ、顕著なモデル圧縮を達成できるか？

主な発見

• 各クラスのクリティカルパスは、高レベル畳み込み層に存在する少数の高度に特化したクラス排他的ニューロンから構成される。
• 高レベルのフィルタは強いクラス偏りを示し、活性化の標準偏差が上位層に向かって増加する傾向にあり、機能的特化が顕著である。
• 平均活性化、寄与度インデックス、AM可視化の組み合わせにより、個々のクラスにおけるクリティカルパスの存在が相互に検証された。
• 最後の6層の畳み込み層でフィルタ保持率を10%に設定した場合、蒸留モデルはすべての1対多タスクで平均98.6%の真陽性率を達成した。
• 元の59.0 MBモデルサイズを11.4 MBに削減し、高層のニューロン数を90%削減した。
• 本手法は再訓練なしに、すべての1対多タスクで平均11.0%の偽陽性率を達成した。