[論文レビュー] Spectral Feature Transformation for Person Re-identification

Chuanchen Luo, Yuntao Chen+2 more|arXiv (Cornell University)|Nov 28, 2018

Video Surveillance and Tracking Methods参考文献 42被引用数 12

ひとこと要約

本稿では、相互のサンプル間関係をモデル化することで、深層畳み込みニューラルネットワーク（CNN）にスペクトルクラスタリングを統合する、新しい微分可能モジュールであるスペクトル特徴変換（SFT）を提案する。グループ単位の類似度を微分可能な遷移確率定式化によって最適化することで、計算コストを最小限に抑えながら4つのベンチマークで性能を向上させ、装飾的な要素を一切用いずに最先端の手法を大きく上回る結果を得た。

ABSTRACT

With the surge of deep learning techniques, the field of person re-identification has witnessed rapid progress in recent years. Deep learning based methods focus on learning a feature space where samples are clustered compactly according to their corresponding identities. Most existing methods rely on powerful CNNs to transform the samples individually. In contrast, we propose to consider the sample relations in the transformation. To achieve this goal, we incorporate spectral clustering technique into CNN. We derive a novel module named Spectral Feature Transformation and seamlessly integrate it into existing CNN pipeline with negligible cost,which makes our method enjoy the best of two worlds. Empirical studies show that the proposed approach outperforms previous state-of-the-art methods on four public benchmarks by a considerable margin without bells and whistles.

研究の動機と目的

• 個々の特徴学習を越えて、サンプル間の関係をモデル化することで、人物再識別を向上させること。
• 判別的表現学習のため、深層ニューラルネットワーク内でのエンド・ツー・エンド微分可能なスペクトルクラスタリングを可能にすること。
• 計算コストをほとんど増加させることなく、同一アイデンティティ内での特徴の凝縮性を向上させる軽量モジュールを開発すること。
• 多様で大規模なReIDベンチマーク上で、本手法の有効性とスケーラビリティを検証すること。
• スペクトルクラスタリングが、性能向上に寄与する深層学習パイプラインに効果的に統合可能であることを示すこと。

提案手法

• 本手法は、スペクトルクラスタリングにおける従来の固有値分解を、部分グラフ間の遷移確率の微分可能最適化に置き換えるスペクトル特徴変換（SFT）モジュールを導入する。
• SFTは、深層特徴から構築された類似度グラフ上で動作し、グループ単位の類似度を最適化することで、クラス内凝縮性の向上とクラス間分離性の強化を実現する。
• 基本的な行列演算を用いることで、従来のCNNパイプラインへのスムーズな統合が可能であり、計算オーバーヘッドを低く抑える。
• SFTモジュールは完全に微分可能であり、標準的な誤差逆伝播法を用いたエンド・ツー・エンド学習が可能である。
• 本手法は、後処理への応用も拡張されており、同じ変換メカニズムを用いてランク付け結果をさらに精緻化する。
• 訓練時に既知のアイデンティティラベルを活用することで、教師ありReIDの目的関数に整合するようにスペクトルクラスタリングのプロセスをガイドする。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンド微分可能な形で、スペクトルクラスタリングを深層学習パイプラインに効果的に統合できるか？
• RQ2 スペクトルクラスタリングによるサンプル間関係のモデル化は、個々のサンプル処理を上回る特徴の凝縮性と判別性を実現できるか？
• RQ3 提案されたSFTモジュールは、計算コストをほとんど増加させずに最先端の性能を達成できるか？
• RQ4 本手法は、MSMT17のような大規模データセットを含む多様なベンチマークでどのようにスケーリングするか？
• RQ5 SFTモジュールは、後処理に応用することで、さらにリtrievalランクを向上させることができるか？

主な発見

• Market-1501データセットでは、82.7%のmAPと93.4%のRank-1精度を達成し、前回のSOTAをそれぞれ1.4%と2%上回った。
• DukeMTMC-ReIDでは、73.2%のmAPと86.9%のRank-1を達成し、MancsをmAPで1.4%、Rank-1で2%上回った。
• CUHK03では、62.4%のmAPと68.2%のRank-1を達成し、手動ラベル付与されたサブセットにおいて、従来手法を顕著に上回った。
• 大規模なMSMT17データセットでは、47.6%のmAPと73.6%のRank-1を達成し、GLADをmAPで13.6%、Rank-1で12.2%上回った。
• 後処理バージョンはさらにトップ1ランクを向上させ、訓練段階を超えた手法の有効性を示した。
• アブレーションスタディにより、4つのベンチマークすべてで本手法のスケーラビリティとロバスト性が確認され、追加の装飾要素なしに強固なベースラインを強化した。