[論文レビュー] Attention Control with Metric Learning Alignment for Image Set-based Recognition

Xiaofeng Liu, Zhenhua Guo+2 more|arXiv (Cornell University)|Aug 5, 2019

Face recognition and analysis参考文献 62被引用数 9

ひとこと要約

本稿では、画像集合ベースの顔認識のための強化学習に基づく注目制御フレームワーク、DACを提案する。このフレームワークは、マークフ・決定過程（MDP）を用いて画像間の依存関係をモデル化し、エージェント・クリティック学習により動的注目重みを割り当てる。IJB-A/B/CおよびYTFデータセットにおいて最先端の性能を達成し、冗長性を低減し多様で高品質な画像を活用することで、識別タスクにおいて最大8.68%高いランク1正答率を達成する。

ABSTRACT

This paper considers the problem of image set-based face verification and identification. Unlike traditional single sample (an image or a video) setting, this situation assumes the availability of a set of heterogeneous collection of orderless images and videos. The samples can be taken at different check points, different identity documents $etc$. The importance of each image is usually considered either equal or based on a quality assessment of that image independent of other images and/or videos in that image set. How to model the relationship of orderless images within a set remains a challenge. We address this problem by formulating it as a Markov Decision Process (MDP) in a latent space. Specifically, we first propose a dependency-aware attention control (DAC) network, which uses actor-critic reinforcement learning for attention decision of each image to exploit the correlations among the unordered images. An off-policy experience replay is introduced to speed up the learning process. Moreover, the DAC is combined with a temporal model for videos using divide and conquer strategies. We also introduce a pose-guided representation (PGR) scheme that can further boost the performance at extreme poses. We propose a parameter-free PGR without the need for training as well as a novel metric learning-based PGR for pose alignment without the need for pose detection in testing stage. Extensive evaluations on IJB-A/B/C, YTF, Celebrity-1000 datasets demonstrate that our method outperforms many state-of-art approaches on the set-based as well as video-based face recognition databases.

研究の動機と目的

• 無順序で多様な画像および動画からなる顔認識セットにおける関係性のモデル化の課題に対処すること。
• 従来の注目メカニズムがセットの文脈を考慮せずに画像の重要性を独立して扱うための冗長性と非効率性を克服すること。
• セット内およびセット間の関係性を捉えることのできるスケーラブルでエンドツーエンドのセットベースの顔認証および識別手法を構築すること。
• 推論時にポーズ検出を必要とせず、極端なポーズ下でも性能を向上させるポーズガイドド表現方式を導入すること。
• IJB-A、IJB-B、IJB-C、YTFを含むベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 画像集合の注目制御を、潜在空間におけるマークフ・決定過程（MDP）として定式化し、集合内の画像に対して逐次的意思決定を可能にする。
• 画像間相関に基づいて動的注目重みを割り当てるため、依存関係に配慮した注目制御（DAC）ネットワークを、エージェント・クリティック深層強化学習を用いて提案する。
• 強化学習フレームワークにおける学習の高速化とサンプル効率の向上を図るため、オフポリシーの経験再生を採用する。
• RNNまたはTempConvを用いた時系列モデリングを統合し、動画入力に対してフレームレベルの注目とシーケンスレベルの表現を分割統治戦略で統合する。
• ポーズ推定を必要とせず、パラメータフリーのポーズガイドド表現（PGR）と、メトリクス学習に基づくPGRを導入する。
• メトリクス学習を用いてポーズ間での特徴を整列させ、追加の学習や検出を必要とせずにポーズ変動に強い性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、顔認識のための無順序画像集合における画像間依存関係のモデル化に効果的に適用可能か？
• RQ2 独立した品質ベースの重み付けと比較して、文脈的な画像関係に基づく注目制御は、認識精度をどのように向上させるか？
• RQ3 ポーズ検出を必要とせず、パラメータフリーかつメトリクス学習に基づくPGR方式は、極端なポーズ下でも性能を向上させられるか？
• RQ4 DACフレームワークは、認証および大規模識別という異なる認識タスクに一般化可能か？
• RQ5 オフポリシー学習および時系列モデリングは、注目メカニズムの性能と収束性にどのように影響するか？

主な発見

• IJB-Cデータセットにおいて、DAC（off）/TempConv&ML-PGR手法は、先行する最先端手法[70]と比較して、FAR=1e-5における真の受容率（TAR）を6.4%向上させた。
• IJB-Bデータセットでは、双方向LSTMベースの手法[55]と比較して、ランク1識別正答率が4%向上し、ランク1正答率は94.0%を達成した。
• クローズドセット識別では、1000人分のアイデンティティ設定において、DAC手法はベースライン手法と比較してランク1正答率を8.68%向上させた。
• DACにおける連続的アクション空間は、すべてのデータセットにおいて離散的（ドロップ／キープ）ベースラインを大きく上回り、微細な注目制御の利点を示した。
• オフポリシー学習は、収束を高速化し、学習の安定性を向上させ、すべてのベンチマークデータセットで一貫した性能向上をもたらした。
• 提案されたメトリクス学習に基づくPGRは、ポーズ検出を必要とせず優れた性能を達成し、極端なポーズ変動の処理に有効であることが証明された。