[論文レビュー] Deep Net Triage: Analyzing the Importance of Network Layers via Structural Compression

Theodore S. Nowak, Jason J. Corso|arXiv (Cornell University)|Jan 15, 2018

COVID-19 diagnosis using AI参考文献 11被引用数 3

ひとこと要約

本稿では、構造的圧縮を用いて深層ニューラルネットワーク内の個々の層の重要性を評価する手法「デュープ・ネット・トライージ」を導入する。主な発見は、どの層も他の層と同等に重要であり、圧縮ネットワーク全体のファインチューニングにより、元のモデルと同等またはそれ以上の性能が得られることである。また、知識蒸留法を用いることで収束が加速され、教師モデルの精度を超えることはない。

ABSTRACT

Despite their prevalence, deep networks are poorly understood. This is due, at least in part, to their highly parameterized nature. As such, while certain structures have been found to work better than others, the significance of a model's unique structure, or the importance of a given layer, and how these translate to overall accuracy, remains unclear. In this paper, we analyze these properties of deep neural networks via a process we term deep net triage. Like medical triage---the assessment of the importance of various wounds---we assess the importance of layers in a neural network, or as we call it, their criticality. We do this by applying structural compression, whereby we reduce a block of layers to a single layer. After compressing a set of layers, we apply a combination of initialization and training schemes, and look at network accuracy, convergence, and the layer's learned filters to assess the criticality of the layer. We apply this analysis across four data sets of varying complexity. We find that the accuracy of the model does not depend on which layer was compressed; that accuracy can be recovered or exceeded after compression by fine-tuning across the entire model; and, lastly, that Knowledge Distillation can be used to hasten convergence of a compressed network, but constrains the accuracy attainable to that of the base model.

研究の動機と目的

• 深層ニューラルネットワーク内の個々の層の相対的な重要性を理解すること。これは、広範に使用されているにもかかわらず、依然として十分に理解されていない。
• 既存のプリンニングや圧縮技術に依存せずに、層の重要性を体系的に評価する手法を開発すること。
• 構造的圧縮がモデルの精度、収束速度、学習されたフィルタ表現に与える影響を評価すること。
• 知識蒸留法が圧縮ネットワークの学習をどれほど加速できるか、また、教師モデルの性能を超える性能を達成できるかを調査すること。
• 圧縮と蒸留を用いて、構造的で解釈可能なフレームワークを提供することにより、深層ネットワークの構成要因を分析すること。

提案手法

• 構造的圧縮は、連続する複数の層（例：2〜3つの畳み込み層に続くプーリング層）を1つの同等の層に置き換えることで実施される。
• 圧縮ネットワークは、ランダム重み、親ネットワークからの平均重み、または中間チェックポイントを用いた学生・教師ネットワーク（STN）を用いて初期化される。
• 学習は、初期化後に圧縮層のみで実施するか、ネットワーク全体で実施することで収束性と精度を評価する。
• 知識蒸留法を用いて、親モデルから圧縮された学生モデルへ知識を転送し、収束を加速する。
• フィルタ活性化の可視化を用いて、モデル間の学習された特徴を定性的に比較し、構造的変更の妥当性を検証する。
• 分析は、MNIST、CIFAR10、CIFAR100、Stanford Dogsの4つのデータセット（複雑さが増す順）に適用される。

実験結果

リサーチクエスチョン

• RQ1 どの層を圧縮するかの選択が、最終的なモデル精度に影響を与えるか？
• RQ2 圧縮ネットワーク全体をファインチューニングすることで、元のモデルの精度を回復または上回ることができるか？
• RQ3 知識蒸留法は圧縮ネットワークの収束速度を向上させるか？また、学生モデルが教師モデルの性能を超えることは可能か？
• RQ4 圧縮ネットワーク内のフィルタ表現は、元のモデルおよび蒸留モデルとどのように比較できるか？
• RQ5 データセットの複雑さが、圧縮層の重要性や挙動に影響を与えるか？

主な発見

• どの層も他の層と同等に重要である：すべてのデータセットにおいて、任意の層を圧縮しても、得られる最大精度は類似している。
• 圧縮ネットワーク全体をファインチューニングすることで、元のモデルよりも最適化された新しいフィルタ表現が得られ、その結果、ベースラインモデルを上回る性能が達成される。
• 知識蒸留法は収束に必要なエポック数を顕著に削減するが、学生ネットワークは教師モデルの精度を超えることはない。
• フィルタ可視化の結果、STNネットワークは親モデルとほぼ同一の応答を学習するが、TM-RWネットワークは明確に異なる、より最適化されたフィルタを学習しており、これが性能向上の理由を説明している。
• 収束速度はデータの複雑さに依存する：STNモデルは、Stanford Dogsのような複雑なデータセットでより速く収束する。これは、蒸留法がより難しい学習環境でも訓練の安定性を高めることを示唆している。
• ランダムまたは平均重み初期化は収束を改善せず、むしろ遅くすることがある。これは、圧縮モデルにおいて適切な初期化が極めて重要であることを示している。