[論文レビュー] Learnt quasi-transitive similarity for retrieval from large collections of faces

Ognjen Arandjelović|arXiv (Cornell University)|Mar 2, 2016

Advanced Image and Video Retrieval Techniques参考文献 37被引用数 4

ひとこと要約

本論文は、ラベルなしで制約のない大規模データセットにおける顔集合検索を向上させるためのメタアルゴリズムを提案する。この手法は、プロキシセットから準推移的類似性を学習することで、手動ラベルなしに検索が難しいアイデンティティの性能を著しく向上させる。本手法は個人間の外見類似性における統計的推移性を活用し、部分空間ベースのベースラインを用いてYouTubeデータセットで72.8%の検索精度を達成した。

ABSTRACT

We are interested in identity-based retrieval of face sets from large unlabelled collections acquired in uncontrolled environments. Given a baseline algorithm for measuring the similarity of two face sets, the meta-algorithm introduced in this paper seeks to leverage the structure of the data corpus to make the best use of the available baseline. In particular, we show how partial transitivity of inter-personal similarity can be exploited to improve the retrieval of particularly challenging sets which poorly match the query under the baseline measure. We: (i) describe the use of proxy sets as a means of computing the similarity between two sets, (ii) introduce transitivity meta-features based on the similarity of salient modes of appearance variation between sets, (iii) show how quasi-transitivity can be learnt from such features without any labelling or manual intervention, and (iv) demonstrate the effectiveness of the proposed methodology through experiments on the notoriously challenging YouTube database and two successful baselines from the literature.

研究の動機と目的

• ベースライン類似性測度が困難なケースで失敗する、大規模でラベルなし、制約のないデータセットにおけるアイデンティティベースの顔集合検索を改善すること。
• ポーズ・照明の明示的モデリングを必要とせず、人物間外見類似性における部分的推移性を活用して、ラベルなしで検索性能を向上させること。
• データコーパスのグローバル構造から学習する自己教師付きメタアルゴリズムを開発し、ベースライン類似性測度を精緻化すること。
• 基底となる方法が困難に直面する、挑戦的なYouTube顔データベースにおける有効性を示すこと。

提案手法

• 本手法は、ギャラリーから抽出された代表的顔セット（プロキシセット）を用い、クエリセットとギャラリー間の顕著な外見変動モードに基づいて推移性メタ特徴を計算する。
• 準推移性をモデル化する類似性測度を定式化する：セットAがセットBに類似し、セットBがセットCに類似する場合、AとCも直接比較可能でなくても類似している可能性が高くなる。
• 教師なしで、真のラベルや高レベルの意味的モデリングを必要としない自己教師付きフレームワークを用いて、メタ特徴をデータから直接学習する。
• 本手法は、任意のベースライン類似性測度の上位で適用可能な後処理メタアルゴリズムとして機能し、困難なクエリでの性能を向上させる。
• ANR（平均正規化リ call）とトップ100検索精度を用いて評価し、最適な結果を得るためにプロキシセット数（$k_p$）を調整する。
• 本手法は頑健である：98%以上の検索でANR < 0.5を達成し、特に$k$が大きい状況でベースラインを著しく上回る。

実験結果

リサーチクエスチョン

• RQ1 大規模顔コレクションにおける人物間類似性パターンは、検索が難しい顔集合の改善に活用可能か？
• RQ2 教師なしで、外見類似性の統計的（準）推移性をどれだけデータから学習できるか？
• RQ3 プロキシセットの使用が、ベースライン類似性測度が失敗する挑戦的なクエリにおける検索性能をどのように向上させるか？
• RQ4 提案されたメタアルゴリズムは、エグジンプラベースや部分空間ベースの手法を含む、さまざまなベースライン類似性測度に一般化可能か？

主な発見

• 提案手法はYouTubeデータベースで72.8%の検索精度を達成し、特に困難なクエリに対してベースライン手法を著しく上回った。
• 提案手法を用いた検索の98%以上がANR 0.5未満であったのに対し、エグジンプラベースラインと部分空間ベースラインでは、それぞれ98百分位数のANR値が0.92および0.88であった。
• 正規化独立性仮定に基づく予測を上回る、正しくマッチしたマッチ数の増加に伴うトップ100検索リ call の増加が確認され、準推移性による類似情報の効果的な伝搬が示された。
• 部分空間ベースラインにおいて、単一のプロキシセット（$k_p = 1$）を使用した場合、性能向上が最も顕著であった。これは、本手法が低ランク表現における内在的構造を効果的に捉えていることを示唆している。
• トップ100セット内の正しくマッチしたアイテムの平均数が向上し、独立マッチング仮定に基づく予測を常に上回る結果が得られた。