[論文レビュー] From A Glance to "Gotcha": Interactive Facial Image Retrieval with Progressive Relevance Feedback

Xinru Yang, Haozhi Qi+2 more|arXiv (Cornell University)|Jul 30, 2020

Image Retrieval and Classification Techniques参考文献 30被引用数 4

ひとこと要約

本稿では、ユーザーが容疑者の心象図を属性レベルのフィードバックのみで段階的に精錬できるように支援する、プログレッシブな関連性フィードバックを用いたエンドツーエンドのインタラクティブ顔画像検索フレームワークを提案する。CelebA上でSE-ResNetの深層特徴を活用し、フィードバックを段階的に公開することで、完全公開設定を上回る98.66%のランクインパーセンタイルを達成し、手作業によるラベル付けコストを最小限に抑えつつ優れた性能を示した。

ABSTRACT

Facial image retrieval plays a significant role in forensic investigations where an untrained witness tries to identify a suspect from a massive pool of images. However, due to the difficulties in describing human facial appearances verbally and directly, people naturally tend to depict by referring to well-known existing images and comparing specific areas of faces with them and it is also challenging to provide complete comparison at each time. Therefore, we propose an end-to-end framework to retrieve facial images with relevance feedback progressively provided by the witness, enabling an exploitation of history information during multiple rounds and an interactive and iterative approach to retrieving the mental image. With no need of any extra annotations, our model can be applied at the cost of a little response effort. We experiment on exttt{CelebA} and evaluate the performance by ranking percentile and achieve 99\% under the best setting. Since this topic remains little explored to the best of our knowledge, we hope our work can serve as a stepping stone for further research.

研究の動機と目的

• ユーザーの心の中にのみ存在する容疑者の心象図に基づく顔画像検索の課題に取り組むこと、特に法医学的文脈における応用を想定する。
• 事前の画像ラベル付けが不要な即時の属性ベースの関連性フィードバックを可能にすることで、高コストな手作業ラベリングへの依存を低減すること。
• 複数ラウンドにわたるフィードバックの段階的公開を通じて、人間の顔の比較における認知的行動を模倣すること。
• 教師ありインタラクティブ学習フレームワークにおいて、画像特徴と属性表現を統合することで検索精度を向上させること。

提案手法

• 本システムは、SE-ResNetから得られる画像埋め込みと属性ベクトルを融合することで顔画像を表現する深層学習ベースのフレームワークを採用する。
• 関連性フィードバックを段階的に公開するプログレッシブな公開メカニズムを用い、最初はマスクされたフィードバックから始め、時間経過とともに透明性を高めていく。
• 各候補画像を提示した後、リアルタイムでユーザーの関連性フィードバックを収集し、ユーザーが属性レベルの比較（例：「眼鏡あり」と「眼鏡なし」）により差異を示す。
• 対照損失を用いてエンドツーエンドで学習を行い、ターゲット画像が検索リストで上位にランク付けされるよう最適化する。
• 特徴抽出には、VGGFace2で事前学習し、CelebAで微調整したSE-ResNetを用い、属性に配慮した表現学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 完全公開と比較して、関連性フィードバックのプログレッシブな公開は顔画像検索性能を向上させるか？
• RQ2 属性レベルのフィードバックと深層画像特徴を統合することで、インタラクティブな設定下での検索精度にどのような影響を与えるか？
• RQ3 提案されたフレームワークは、データセットに対する手作業ラベリングを一切要さずに高い性能を達成できるか？
• RQ4 モデルの性能が、顔の比較における人間らしい認知的進行をどの程度反映しているか？

主な発見

• プログレッシブな公開メカニズムが最良のパフォーマンスを達成し、CelebAデータセットで最終的なランクインパーセンタイルが98.66%に達した。
• プログレッシブ公開下では第5ラウンドでテスト損失が0.0297に低下したが、属性付きの完全公開設定では0.0589に達し、顕著な差が見られた。
• CelebAで微調整したSE-ResNet特徴を用いることで最高のパフォーマンス（98.66%パーセンタイル）を達成し、OpenFace（87.02%）やVGGFace2で微調整していないSE-ResNet（95.80%）を上回った。
• 第3ラウンドから第4ラウンドにかけて一致する属性数が37から34に減少したにもかかわらず、第4ラウンドの候補画像は視覚的により良い一致であったため、特徴の統合が属性数を超えた性能向上を実現していることが示された。
• 男性のターゲットでは一般的に第3ラウンドまでに収束したが、女性のターゲットでは後続の精錬が可能で、データセット内での顔貌の多様性が高いためと推察される。