[論文レビュー] PP-ShiTu: A Practical Lightweight Image Recognition System

Shengyu Wei, Ruoyu Guo+11 more|arXiv (Cornell University)|Nov 1, 2021

Advanced Image and Video Retrieval Techniques参考文献 3被引用数 6

ひとこと要約

PP-ShiTu は、本体検出、特徴抽出、ベクトル検索を統合した実用的で軽量な画像認識システムです。メトリック学習、知識蒸留、モデル量子化、DeepHash などの技術を活用することで、多様な画像認識タスクにおいて高い精度と推論速度を達成し、既存のモデルよりも高速かつ効率的でありながら、複数のベンチマークで競争力のある性能を維持しています。

ABSTRACT

In recent years, image recognition applications have developed rapidly. A large number of studies and techniques have emerged in different fields, such as face recognition, pedestrian and vehicle re-identification, landmark retrieval, and product recognition. In this paper, we propose a practical lightweight image recognition system, named PP-ShiTu, consisting of the following 3 modules, mainbody detection, feature extraction and vector search. We introduce popular strategies including metric learning, deep hash, knowledge distillation and model quantization to improve accuracy and inference speed. With strategies above, PP-ShiTu works well in different scenarios with a set of models trained on a mixed dataset. Experiments on different datasets and benchmarks show that the system is widely effective in different domains of image recognition. All the above mentioned models are open-sourced and the code is available in the GitHub repository PaddleClas on PaddlePaddle.

研究の動機と目的

• 顔認識、再識別、製品検索などの異なるアプリケーションに応用する際の、画像認識モデルの非効率性と高い移行コストを解消すること。
• 複数の画像認識分野に一般化できる最小限の微調整で済む統合的で実用的なパイプラインを設計すること。
• 軽量アーキテクチャ、蒸留、量子化、ハッキング技術を用いて、モデルの速度と精度を最適化すること。
• モデル圧縮と最適化された推論パイプラインにより、CPU やモバイルデバイスでも効率的な推論を可能にすること。
• 実世界の応用分野への広範な採用を促進するため、オープンソースで再利用可能なモデルとコードを提供すること。

提案手法

• 画像内の本体を効率的に検出するために、PP-PicoDet に PP-LCNet バックボーンを組み合わせる。
• 埋め込み空間における特徴の識別性を向上させるために、ArcMargin 損失を用いたメトリック学習を実施する。
• 大規模モデルから軽量な学生ネットワークへ知識を転送するために、知識蒸留（U-DML および SSLD）を適用する。
• モデルサイズの削減と CPU 上での推論速度向上のため、モデル量子化を活用する。
• 特徴ベクトルをバイナリコードに圧縮して、より高速なベクトル検索を実現するため、DeepHash を実装する。
• すべてのモジュールをエンドツーエンドのパイプラインに統合：本体を検出 → 特徴を抽出 → ベクトルデータベース内で最近傍の類似画像を検索。

実験結果

リサーチクエスチョン

• RQ1 統合的で軽量なパイプラインは、製品認識、顔認識、車両認識などの多様な画像認識タスクを効果的に処理できるか？
• RQ2 知識蒸留とメトリック学習を併用することで、軽量モデルにおける精度がどのように向上するか？
• RQ3 DeepHash を用いた特徴の量子化は、リコール精度を損なわずにストレージ容量と推論時間をどの程度削減できるか？
• RQ4 PP-PicoDet と PP-LCNet の統合は、CPU 最適化推論において、速度と精度のバランスをどのように実現するか？
• RQ5 複数のデータセットを統合したハイブリッドトレーニングデータを用いることで、一般化性能にどの程度の向上効果が得られるか？

主な発見

• Intel Xeon Gold 6148 CPU 上で平均 194ms の遅延を達成し、ResNet-50 をベースにしたサーバーモデルと比較して推論時間を 80% 以上短縮した。
• U-DML 知識蒸留を用いることで、6 つのデータセット平均でリコール@1 が 0.7% 向上し、追加の推論コストなしに実現した。
• DeepHash を用いたバイナリ特徴モデルは、インデックスサイズを 285MB から 8.9MB に削減し、検索時間を 117ms から 21ms に短縮したが、Ali-Product データセットでは 78% のリコール@1 を維持した。
• PP-LCNet-1x はパラメータ数がたった 3.0M で、Intel Xeon 上で 2.46ms の遅延を達成し、スループットと精度のトレードオフにおいて MobileNetV3 や ShuffleNetV2 を上回った。
• iCartoonFace、VeRI-Wild、SOP など多様なデータセットにおいて一貫した性能を発揮し、PP-LCNet-2.5x に U-DML を適用した場合、平均リコール@1 が 0.859 に達した。
• アブレーションスタディの結果、メトリック学習、蒸留、量子化を組み合わせることで、精度と効率性に相乗効果が得られることを確認した。