[論文レビュー] Permutation-invariant Feature Restructuring for Correlation-aware Image Set-based Recognition

Xiaofeng Liu, Zhenhua Guo+5 more|arXiv (Cornell University)|Aug 3, 2019

Face recognition and analysis被引用数 18

ひとこと要約

本稿では、パラメトリックな残差自己注意（RSA）モジュールと非パrametricな依存関係誘導型特徴整合（DFA）モジュールを用いて、集合内および集合間の相関をモデル化することで、順序に依存しない特徴再構築（PIFR）フレームワークを提案する。この手法は、交互最適化スキームにより深層特徴とスパース再構成係数を同時に最適化することで、顔認識および人物再識別ベンチマークで最先端の性能を達成する。

ABSTRACT

We consider the problem of comparing the similarity of image sets with variable-quantity, quality and un-ordered heterogeneous images. We use feature restructuring to exploit the correlations of both inner$\&$inter-set images. Specifically, the residual self-attention can effectively restructure the features using the other features within a set to emphasize the discriminative images and eliminate the redundancy. Then, a sparse/collaborative learning-based dependency-guided representation scheme reconstructs the probe features conditional to the gallery features in order to adaptively align the two sets. This enables our framework to be compatible with both verification and open-set identification. We show that the parametric self-attention network and non-parametric dictionary learning can be trained end-to-end by a unified alternative optimization scheme, and that the full framework is permutation-invariant. In the numerical experiments we conducted, our method achieves top performance on competitive image set/video-based face recognition and person re-identification benchmarks.

研究の動機と目的

• 実世界のバイオメトリクス応用において、変動的で順序のない、多様な画像を含む画像集合どうしを比較する課題に対処すること。
• 従来の手法が集合内相関を無視するか、画像の順序に敏感であるという限界を克服すること。
• クローズドセットおよびオープンセット認識の両状況において、効果的な類似度測定を可能にすること。
• 画像集合の順序に依存しない、統合的かつエンドツーエンドで学習可能なフレームワークを構築すること。

提案手法

• ペairwise類似度を用いて集合内特徴を再構築する残差自己注意（RSA）モジュールを提案し、識別的な画像に注目し、冗長性を低減する。
• 完全畳み込み特徴抽出器とガウス類似度メトリックを統合して空間的ヒントを活用し、特徴表現を強化する。
• ギャラリー特徴のスパース／共同表現を用いてプローブ特徴を再構築する非パrametricな依存関係誘導型特徴整合（DFA）モジュールを設計する。
• パラメトリックなRSAと非パラメトリックな辞書学習モジュールをエンドツーエンドで同時に学習するために、交互最適化スキームを用いる。
• 注目に基づくおよびスパース再構成メカニズムにより、RSAおよびDFAモジュールが入力順序に依存しないようにすることで、順序不変性を確保する。
• 共同表現類似度を活用してギャラリーの被験者をランク付けすることで、検証およびオープンセット識別に対応するフレームワークの適応を図る。

実験結果

リサーチクエスチョン

• RQ1 順序のない可変サイズの画像集合における集合内相関を、逐次処理に依存せずに効果的にモデル化する方法は何か？
• RQ2 順序に依存しない方法で、プローブとギャラリーの特徴整合を向上させるために、集合間相関をどのように活用できるか？
• RQ3 統合フレームワークが、画像集合認識においてパラメトリックなディープラーニングと非パラメトリックな辞書学習を同時に最適化できるか？
• RQ4 集合内および集合間相関の両方を組み込むことで、オープンセットおよびクローズドセット認識ベンチマークでの性能がどの程度向上するか？
• RQ5 順序に敏感なまたは相関に配慮しないベースラインと比較して、提案手法のロバストネスと正確性はどのように評価できるか？

主な発見

• IJB-Aクローズドセット顔認識ベンチマークにおいて、ResNet50バックボーンを用いたPIFRは94.97％のランク-1精度を達成し、前回のSOTAを4％以上上回った。
• Celebrity-1000オープンセットデータセットでは、ResNet50を用いたPIFRが87.13％のランク-1精度を達成し、DACベースラインを4％以上上回り、平均プーリングベースラインを9％以上上回った。
• iLIDS-VID人物再識別において、ResNet50を用いたPIFRは光学フローを用いずに82.5％のランク-1精度を達成し、STANを10.8％以上、TCPを2.3％以上上回った。
• アブレーションスタディにより、残差差分項（RSAw/o Δ）を除去すると性能が低下することが確認され、RSAモジュールにおける設計選択の有効性が裏付けられた。
• RSAにおける埋め込みガウス類似度（ΨΦ）^Lを用いる場合、同等の性能が得られるが、学習時間が2倍以上にのびるため、提案手法の効率性が示された。
• 入力集合内の画像順序に関係なく一貫した性能を示すことで、フレームワークが完全に順序不変であることが実証された。