[論文レビュー] Structural Compression of Convolutional Neural Networks

Reza Abbasi-Asl, Bin Yu|arXiv (Cornell University)|May 20, 2017

Adversarial Robustness in Machine Learning参考文献 38被引用数 22

ひとこと要約

この論文では、分類精度への寄与に基づいて畳み込みフィルタをプルーニングする、構造的圧縮手法であるCARを提案する。この手法により、性能を維持したままモデルサイズを顕著に削減できる。本手法は、機能的に冗長なフィルタ（例えば、色に基づくもの）を削除することで、より解釈可能なCNNを実現する。圧縮されたネットワークがフィルタの多様性を保持しており、視覚的・分類ベースの分析によって人間が理解可能な構造を維持していることが示された。

ABSTRACT

Deep convolutional neural networks (CNNs) have been successful in many tasks in machine vision, however, millions of weights in the form of thousands of convolutional filters in CNNs makes them difficult for human intepretation or understanding in science. In this article, we introduce CAR, a greedy structural compression scheme to obtain smaller and more interpretable CNNs, while achieving close to original accuracy. The compression is based on pruning filters with the least contribution to the classification accuracy. We demonstrate the interpretability of CAR-compressed CNNs by showing that our algorithm prunes filters with visually redundant functionalities such as color filters. These compressed networks are easier to interpret because they retain the filter diversity of uncompressed networks with order of magnitude less filters. Finally, a variant of CAR is introduced to quantify the importance of each image category to each CNN filter. Specifically, the most and the least important class labels are shown to be meaningful interpretations of each filter.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）のフィルタ数を削減する構造的圧縮方式を開発し、高い分類精度を維持すること。
• 色ベースや視覚的に冗長なフィルタのような、機能的に冗長なフィルタを削除することで、CNNの解釈性を向上させること。
• フィルタの多様性を保持し、フィルタ選択性の可視化を可能にすることで、人間がモデルの意思決定を理解できるようにすること。
• 画像カテゴリごとのフィルタ重要性をCARインデックスの変種を用いて定量化し、フィルタ行動に関する解釈可能なインサイトを提供すること。
• 特に科学的・医療用途において、活性化値や重みのプルーニングよりもフィルタプルーニングがより解釈可能であることを示すこと。

提案手法

• 分類精度への寄与に基づいてフィルタを順序付けする貪欲なフィルタプルーニングアルゴリズムであるCAR（Classification Accuracy Reduction）を提案する。
• 各フィルタを削除した際のトップ-1精度の低下を前方伝搬により計算し、精度に与える影響が最小限のフィルタをプルーニング対象とする。
• 2段階の圧縮を適用する：まずCARによるプルーニングでフィルタ数を削減し、その後Deep Compressionを用いて量子化および重みのプルーニングを実施する。
• $CAR^{c}$を導入し、各画像カテゴリに対してフィルタを削除した際の分類精度の変化を測定する。これにより、カテゴリ別にフィルタの重要性を分析可能となる。
• トップアクティベートされる画像パッチを用いてフィルタ選択性を可視化し、高/低$CAR^{c}$カテゴリと照合することで、解釈性を検証する。
• 再訓練を完全に再開するのを避ける、体系的なプルーニングパイプラインを採用し、事前学習済みモデルを活用して効率的な圧縮を実現する。

実験結果

リサーチクエスチョン

• RQ1 精度への寄与に基づく貪欲なフィルタプルーニング手法が、コン pact かつ解釈可能なCNNを生成できるか？
• RQ2 圧縮されたCNNにおけるプルーニング済みフィルタは、意味的で多様な機能を保持しているのか、それとも冗長なのか？
• RQ3 各フィルタの重要性を、特定の画像カテゴリへの影響を通じて意味的に解釈できるか？
• RQ4 重みレベルの圧縮と比較して、フィルタプルーニングによる構造的圧縮は、解釈性とパフォーマンスの両面で優れているか？
• RQ5 $CAR^{c}$インデックスは、異なる画像カテゴリにおいて一貫性があり、フィルタ行動に関する解釈可能なインサイトを提供できるか？

主な発見

• CARプルーニングにより、AlexNetでは8〜21倍の圧縮比を達成し、精度損失は最小限に抑えられ、構造的圧縮の高い効率性が示された。
• プルーニングされたフィルタは視覚的に冗長であることが判明し、特に色ベースのフィルタが顕著であった。これは、ImageNetのカテゴリにおいて形状ベースの特徴がより重要であることを示唆している。
• 圧縮ネットワーク内のフィルタは多様な機能を保持しており、フィルタ数が顕著に削減されても、元のモデルと同様に解釈可能であることが保証された。
• $CAR^{c}$インデックスは視覚的パターン選択性と強い一貫性を示した。特定のカテゴリに対して高い$CAR^{c}$を持つフィルタは、楕円形の形状や鳥の頭部など類似したパターンを持つパッチで活性化した。
• 一部のケースでは、圧縮ネットワークが元のネットワークを上回る性能を示し、負のCAR値が観測された。これは、ノイズや冗長なフィルタが削除されたことを示唆しており、精度が向上した可能性がある。
• 本手法により、フィルタ行動を特定の画像カテゴリと関連付けることで、後から解釈可能なアプローチが可能となり、分類におけるフィルタの役割を意味的に理解する手がかりが得られた。