[論文レビュー] Exploring Linear Relationship in Feature Map Subspace for ConvNets Compression

Dong Wang, Lei Zhou+3 more|arXiv (Cornell University)|Mar 15, 2018

Anomaly Detection Techniques and Applications参考文献 5被引用数 43

ひとこと要約

この論文は、特徴マップをクラスタリングして関連するフィルターをプルーニングすることでCNNのサイズを削減するサブスペースクラスタリングベースのフィルター剪定法を提案し、VGG-16とResNet-50にわたる微調整後の圧縮と競争力のある精度向上を実現し、物体検出と姿勢推定タスクにも拡張する。

ABSTRACT

While the research on convolutional neural networks (CNNs) is progressing quickly, the real-world deployment of these models is often limited by computing resources and memory constraints. In this paper, we address this issue by proposing a novel filter pruning method to compress and accelerate CNNs. Our work is based on the linear relationship identified in different feature map subspaces via visualization of feature maps. Such linear relationship implies that the information in CNNs is redundant. Our method eliminates the redundancy in convolutional filters by applying subspace clustering to feature maps. In this way, most of the representative information in the network can be retained in each cluster. Therefore, our method provides an effective solution to filter pruning for which most existing methods directly remove filters based on simple heuristics. The proposed method is independent of the network structure, thus it can be adopted by any off-the-shelf deep learning libraries. Experiments on different networks and tasks show that our method outperforms existing techniques before fine-tuning, and achieves the state-of-the-art results after fine-tuning.

研究の動機と目的

• 実世界のデプロイメントにおける計算資源とメモリ資源の制約に対応するためにCNN圧縮を動機づける。
• 特徴マップサブスペースの線形関係を活用して代表的な情報を保持するフィルタ剪定フレームワークを提案する。
• 剪定法をネットワークアーキテクチャに依存しないようにして広い適用性を確保する。
• 複数のネットワーク（VGG-16、ResNet-50）とタスク（画像分類、物体検出、姿勢推定）で有効性を示す。
• サブスペースクラスタリングベースの剪定が既存の剪定戦略を上回ることを示す、特に微調整前。

提案手法

• レイヤーの入力特徴マップをサブスペースクラスタリングを用いてクラスタ(ci')を形成する（ci' ≤ ci）。
• クラスタごとに平均フィルターを計算してレイヤーと次のレイヤーのチャネル軸にまたがる剪定フィルターを形成する。
• 剪定されたレイヤー出力を線形最小二乗問題を解くことで再構成し、再構成誤差（フロベニウスノルム）を最小化する。
• すべてのターゲットレイヤーの剪定後に微調整を行う前提で、前向きに層ごとに反復的に剪定する。
• アーキテクチャに応じた2つの剪定戦略を扱う：単一路線ネットワーク（例：VGG）と残差ブロックを制約として持つマルチパスネットワーク（例：ResNet）。"
• 理論的枠組みはサブスペースクラスタリングの自己表現モデルを用いる：X = XC with diag(C)=0 and 最小化 ||C||1 により固有行列を導出し、スペクトルクラスタリングの為のアフィニティ行列を得る；続く手順はクラスタインデックスを形成して剪定を導く（式(1)−(4)）。

実験結果

リサーチクエスチョン

• RQ1 特徴マップサブスペースの線形関係を利用して剪定に適した代表的なフィルターを同定できるか。
• RQ2 サブスペースクラスタリングベースの剪定は、微調整前後で従来の重要性ベース剪定法より精度を良く保持できるか。
• RQ3 提案手法はアーキテクチャに依存せず、単一路線とマルチパスCNNの双方に適用可能か。
• RQ4 バックボーン圧縮として用いた際、画像分類、物体検出、姿勢推定といった多様なタスクで手法はどう機能するか。
• RQ5 剪定の程度（スピードアップ）と精度の間で、異なるモデル間のトレードオフはどうなるか。

主な発見

• 本手法は、VGG-16における単層剪定の基準ベース削減よりも情報を多く保持し、再構成のための情報を維持する点で一貫して優れている。
• サブスペースクラスタリングを用いたレイヤーごとの剪定は、微調整前でも他の方法より少ない精度喪失でスピードアップ（例：2x、4x、5x）を達成し、微調整後は同等以上の結果を示す。
• ResNet-50では、先行ベースラインより小さな精度低下で2xの加速を達成し、微調整時・非微調整時の両方で有利な結果を示す。
• Faster R-CNN（VGG-16バックボーン）での物体検出では、2xおよび4xの剪定がベースラインに比べてmAPの損失が最小（それぞれ0.2点、1.0点）である。
• MSCOCO-14上のCMU-Poseでは、2xおよび4xの剪定でmAPの低下が控えめ（それぞれ0.8点、1.9点）。
• タスクを跨いで、畳み込みバックボーンの加速化における強い一般化性能を示し、微調整後の性能低下を抑えつつ計算量とメモリの顕著な削減を達成する。