[論文レビュー] Pruning Convolutional Neural Networks for Image Instance Retrieval

Gaurav Manek, Jie Lin+5 more|arXiv (Cornell University)|Jul 18, 2017

Advanced Image and Video Retrieval Techniques参考文献 20被引用数 3

ひとこと要約

本稿では、画像インスタンス検索向けに畳み込みニューラルネットワークを圧縮するためのヒューリスティックベースのプルーニングフレームワークと、トリプレット損失を用いたファインチューニングを組み合わせることを提案する。データに依存しないおよびデータに依存する基準を用いて畳み込みエッジをプルーニングした後、検索特化の損失関数を用いたエンドツーエンドのファインチューニングにより、最大5倍のモデル圧縮を達成しつつ、性能の低下を最小限に抑える。

ABSTRACT

In this work, we focus on the problem of image instance retrieval with deep descriptors extracted from pruned Convolutional Neural Networks (CNN). The objective is to heavily prune convolutional edges while maintaining retrieval performance. To this end, we introduce both data-independent and data-dependent heuristics to prune convolutional edges, and evaluate their performance across various compression rates with different deep descriptors over several benchmark datasets. Further, we present an end-to-end framework to fine-tune the pruned network, with a triplet loss function specially designed for the retrieval task. We show that the combination of heuristic pruning and fine-tuning offers 5x compression rate without considerable loss in retrieval performance.

研究の動機と目的

• 画像インスタンス検索のためのCNNにおけるモデルサイズ削減を、検索精度を損なわずに行う挑戦に応えること。
• 全結合層よりも圧縮が難しいとされる畳み込み層に対して、ヒューリスティックプルーニング戦略の有効性を調査すること。
• プルーニングと検索特化のファインチューニングを統合したエンドツーエンドのフレームワークを構築・評価し、圧縮後の性能回復を図ること。
• 複数のベンチマークデータセットおよび深層記述子タイプにおいて、異なるプルーニングヒューリスティクスおよび圧縮率の影響を評価すること。
• モバイルおよび組み込みシステムへの実世界での導入を想定した、モデル圧縮と検索性能の最適なトレードオフを特定すること。

提案手法

• 重みの絶対値 |wᵢⱼ|、勾配加重感度（dℒ/dwᵢⱼ × wᵢⱼ）、平均活性化 × 重み、活性化の分散 × 重みの二乗といった、データに依存しないヒューリスティクスを用いて、畳み込みエッジに重要度スコアを割り当てる。
• 損失変化のテイラー展開に基づくデータに依存するヒューリスティクスを用いて、削除に適した重要度の低いエッジを同定する。
• 画像インスタンス検索に特化したトリプレット損失関数を用いたエンドツーエンドのファインチューニングパイプラインを実装し、プルーニング後の性能回復を図る。
• 畳み込み層にのみプルーニングを適用し、特徴階層を保持するとともに、上位層における冗長性に焦点を当てる。
• 評価のため、プルーネッド特徴量から深層記述子を生成するためにSQP（球面量子化プール）を用いる。
• 複数のデータセット（Oxford5k、Paris6k、Holidays、UKbench）において、圧縮率（元のサイズの10%、20%、50%）を変化させながら性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックプルーニングを適用した畳み込み層が、画像インスタンス検索タスクにおいても高い検索性能を維持できるか？
• RQ2 重みの絶対値、勾配ベース、活性化ベースといった異なるプルーニングヒューリスティクスは、さまざまな圧縮率において、性能保持度にどのように差を生じるか？
• RQ3 トリプレット損失関数を用いたファインチューニングは、畳み込み層の過剰なプルーニング後、どの程度性能を回復できるか？
• RQ4 性能が著しく低下するまでの圧縮の実用的限界（最小モデルサイズ）は何か？
• RQ5 層ごとのプルーニングパターンはネットワークの深さに応じて変化するか？また、これは冗長性の分布と相関するか？

主な発見

• 重みの絶対値（|wᵢⱼ|）を用いたヒューリスティックプルーニングは、すべてのベンチマークデータセットで最大2倍の圧縮を達成しつつ、性能の低下を最小限に抑える。
• ヒューリスティックプルーニングとエンドツーエンドのトリプレット損失ファインチューニングを組み合わせることで、最大5倍の圧縮が可能となり、高い検索精度を維持する。50%の圧縮後、Oxford5kおよびParis6kでは平均平均精度（mAP）が約80%に達する。
• ファインチューニングはOxford5kおよびParis6kにおいて性能を顕著に向上させるが、UKbenchデータセットでは若干のrecall@4の低下を示す。これは、トレーニングデータとは異なるドメインシフトの影響による可能性が高い。
• 元サイズの10%にまで圧縮されたネットワークでは、性能の不連続性が観察され、20%を下回る圧縮はモデルの冗長性の閾値を超える可能性がある。
• 層ごとのプルーニングの結果、下位層では10%のネットワークサイズであっても約95%のエッジが保持される一方、上位層では最大92%のエッジが失われる。これは、深層部に高い冗長性が存在することを確認する。
• 20–10%の圧縮範囲が性能の閾値として機能しており、さらに圧縮を進めるほど性能の劣化が顕著に増大する。これは、有効なプルーニングの実用的下限を示唆する。