[論文レビュー] A Survey of Pruning Methods for Efficient Person Re-identification Across Domains

Hugo Masson, Amran Bhuiyan+5 more|arXiv (Cornell University)|Jul 4, 2019

Video Surveillance and Tracking Methods参考文献 22被引用数 9

ひとこと要約

この論文は、クロスドメインの人物再識別における深層シアンプソンネットワークの圧縮のためのプルーニング技術を調査し、構造的プルーニングがResNet特徴抽出器のFLOPSを50%削減しながら、元のモデルと比較してランク1精度を1%以内に維持することを示している。このアプローチにより、顕著な精度の損失なしにリソース制約のあるプラットフォームへの効率的なデプロイが可能になる。

ABSTRACT

Recent years have witnessed a substantial increase in the deep learning architectures proposed for visual recognition tasks like person re-identification, where individuals must be recognized over multiple distributed cameras. Although deep Siamese networks have greatly improved the state-of-the-art accuracy, the computational complexity of the CNNs used for feature extraction remains an issue, hindering their deployment on platforms with with limited resources, or in applications with real-time constraints. Thus, there is an obvious advantage to compressing these architectures without significantly decreasing their accuracy. This paper provides a survey of state-of-the-art pruning techniques that are suitable for compressing deep Siamese networks applied to person re-identification. These techniques are analysed according to their pruning criteria and strategy, and according to different design scenarios for exploiting pruning methods to fine-tuning networks for target applications. Experimental results obtained using Siamese networks with ResNet feature extractors, and multiple benchmarks re-identification datasets, indicate that pruning can considerably reduce network complexity while maintaining a high level of accuracy. In scenarios where pruning is performed with large pre-training or fine-tuning datasets, the number of FLOPS required by the ResNet feature extractor is reduced by half, while maintaining a comparable rank-1 accuracy (within 1\% of the original model). Pruning while training a larger CNNs can also provide a significantly better performance than fine-tuning smaller ones.

研究の動機と目的

• 人物再識別における深層シアンプソンネットワークを圧縮するのに適した最先端のプルーニング技術を分析すること。
• 目的アプリケーションの設計シナリオに基づいたプルーニング基準と戦略を評価すること。
• クロスドメインの人物再識別における計算複雑度と精度に及ぼすプルーニングの影響を評価すること。
• 訓練中のプルーニングと小さなモデルでのファインチューニングの性能を比較すること。

提案手法

• 論文は、ResNetベースの特徴抽出器を搭載したシアンプソンネットワークに特化したさまざまなプルーニング技術を調査している。
• 重要度スコアとして、マグニチュード、勾配、活性化に基づく指標を含む基準に基づいてプルーニングを評価している。
• 特徴表現の品質を維持しながら、ResNetバックボーンのFLOPSを削減するために構造的プルーニングを適用している。
• 精度と効率のトレードオフを評価するために、複数の人物再識別ベンチマークを用いた実験が実施されている。
• 訓練中と事前学習モデルのファインチューニングの両方でプルーニングを適用し、性能の差を比較している。
• 大規模な事前学習およびファインチューニングデータセットがプルーニングの効果に与える影響を評価している。

実験結果

リサーチクエスチョン

• RQ1 人物再識別用のResNetベースのシアンプソンネットワークにおいて、プルーニングはFLOPSをどの程度削減できるか？
• RQ2 大規模な事前学習モデルにプルーニングを適用した場合、精度の低下はどの程度か？
• RQ3 訓練中のプルーニングと小さなモデルでのファインチューニングの性能を比較すると、どちらが優れているか？
• RQ4 どのプルーニング基準が異なるデータセット間で最も安定した精度維持を達成するか？
• RQ5 リソース制約のあるプラットフォームへのリアルタイムデプロイを、顕著な精度損失なしに可能にするか？

主な発見

• プルーニングにより、ResNet特徴抽出器のFLOPSは50%削減され、ランク1精度は元のモデルと1%以内に維持された。
• 大規模な事前学習またはファインチューニングデータセットを用いた状況では、プルーニングにより顕著なFLOPS削減が達成され、精度の低下は最小限に抑えられた。
• 訓練中のプルーニングは、小さなモデルでのファインチューニングよりも優れた性能を示し、訓練時プルーニングがより効果的であることが示された。
• 複数の再識別ベンチマークにおいて精度が安定しており、プルーニング手法の堅牢性が裏付けられた。
• 結果から、構造的プルーニングによりエッジデバイスでの効率的なデプロイが可能であることが確認された。
• 顕著な圧縮がなされても、判別性の高い特徴学習が保持されることから、実用的デプロイに適していることが検証された。