[論文レビュー] On-the-fly Network Pruning for Object Detection

Marc Masana, Joost van de Weijer+1 more|arXiv (Cornell University)|May 11, 2016

Advanced Neural Network Applications参考文献 5被引用数 5

ひとこと要約

本稿では、1枚の画像から得られる数千の候補バウンディングボックスを処理する前に、画像レベルの特徴マップ活性化を活用して、全結合層内の冗長なユニットを動的に削除することで、オブジェクト検出のためのオンザフライネットワークプルーニングを提案する。全画像にわたりほぼゼロの活性化を示すユニットを特定・削除することで、mAPの低下を最小限に抑えながら最大40%のパラメータ削減が可能となり、再訓練を必要とせずに推論効率を著しく向上させる。

ABSTRACT

Object detection with deep neural networks is often performed by passing a few thousand candidate bounding boxes through a deep neural network for each image. These bounding boxes are highly correlated since they originate from the same image. In this paper we investigate how to exploit feature occurrence at the image scale to prune the neural network which is subsequently applied to all bounding boxes. We show that removing units which have near-zero activation in the image allows us to significantly reduce the number of parameters in the network. Results on the PASCAL 2007 Object Detection Challenge demonstrate that up to 40% of units in some fully-connected layers can be entirely eliminated with little change in the detection result.

研究の動機と目的

• 1枚の画像から得られる数千の相関関係にある候補バウンディングボックスを処理するにあたり、計算コストを低減すること。
• 静的またはトレーニング後処理に依存するのではなく、画像レベルの活性化パターンに基づいて冗長なニューラルネットワークユニットを動的に削除する戦略を開発すること。
• 全画像にわたりほぼゼロの活性化を示すユニットを削除することで、モデルの複雑さを低減しながら高い検出精度を維持すること。
• 活性化解析を用いて、全結合層の前方および後方ユニットの両方をプルーニングする可能性を検討すること。
• Fast R-CNNフレームワークと変更を加えたVGG16アーキテクチャを用いて、PASCAL VOC 2007データセット上でこの手法を評価すること。

提案手法

• 本手法は、pool5層のユニットの空間的次元にわたる活性化の合計値をしきい値で評価し、ほぼゼロの活性化を示すユニットを同定して削除することで、fc6層における前方ユニットプルーニングを実行する。
• 後方ユニットプルーニングは、fc8層に適用され、事前に分類器を用いて画像内の可能性の高いオブジェクトクラスを予測し、上位Nクラスのみを保持して残りのユニットを重み行列およびバイアスベクトルから削除する。
• 本手法はReLU活性化関数を用い、しきい値未満の活性化をゼロとみなすことで、重み行列の対応する行およびバイアスベクトルの対応する要素を削除可能となる。
• プルーニングはバウンディングボックスプロポーザルの処理の前に行われるため、すべての候補ボックスに対してより小型で効率的なネットワークを直接利用可能となる。
• 本手法は、全結合層および畳み込み層の両方に対して適用可能であり、活性化解析が層に依存しないため汎用的である。
• プルーニング後、ネットワークは再訓練を行わず、元のトレーニング済み重みをそのままで使用する。パrameter削減は、非活性ユニットの構造的削除によって達成される。

実験結果

リサーチクエスチョン

• RQ1 複数の相関関係にあるバウンディングボックスを処理する前に、画像レベルの活性化パターンを用いて冗長なニューラルネットワークユニットを同定・削除できるか？
• RQ2 オブジェクト検出における性能劣化を最小限に抑えつつ、全結合層でのパrameter削減はどの程度達成可能か？
• RQ3 特徴マップの活性化に基づく前方プルーニングと、予測されたクラス確率に基づく後方プルーニングの間で、精度および効率性にどのような差が生じるか？
• RQ4 検出性能を維持しつつ、ほぼゼロの活性化を同定する最適なしきい値は何か？
• RQ5 このオンザフライプルーニング戦略は、セマンティックセグメンテーションなどの他の層やタスクへも拡張可能か？

主な発見

• fc6層の最大40%のユニットを削除してもmAPの低下が1%未満に抑えられ、顕著なパラメータ削減と最小限の精度影響を示した。
• pool5層における前方プルーニングにより、fc6のパラメータを25〜40%削減しつつmAPの低下が1%未満に抑えられ、高い効率性とロバストネスを示した。
• fc8における後方プルーニングでは、6つ以上のクラスを保持した場合に最大70%のパラメータ削減が達成され、mAPの低下は1%未満に抑えられ、出力層の圧縮において優れた性能を示した。
• fc6では40%以上のパラメータ削減、fc8では6未満のクラス保持時に性能劣化が顕著に現れ、高頻度のプルーニングでは性能のトレードオフが生じた。
• 低活性化ユニットをプルーニングした際、わずかな初期の性能向上が観察された可能性があり、これは無視できるほどの活性化からのノイズ低減によるものと考えられる。
• fc8のパラメータは全ネットワークのわずかな割合にしか該当しないため、この手法が有効であることは驚きであるが、多くの出力クラスを持つモデルにおいても有効であると示唆している。