[論文レビュー] Contextual Visual Similarity

Xiaofang Wang, Kris Kitani+1 more|arXiv (Cornell University)|Dec 8, 2016

Image Retrieval and Classification Techniques参考文献 24被引用数 8

ひとこと要約

本論文では、ユーザー定義の類似関係を三つ組の画像（クエリ、ポジティブ、ネガティブ）を用いて学習する特徴量重みを導入する文脈的視覚的類似性を提案する。クエリとポジティブの距離を最小化し、ネガティブとの距離を最大化するように特徴量を再重み付けすることで、属性固有の画像検索、視覚的類似性の解法、教師なし属性発見においてベースラインと比べ顕著な性能向上を達成する。

ABSTRACT

Measuring visual similarity is critical for image understanding. But what makes two images similar? Most existing work on visual similarity assumes that images are similar because they contain the same object instance or category. However, the reason why images are similar is much more complex. For example, from the perspective of category, a black dog image is similar to a white dog image. However, in terms of color, a black dog image is more similar to a black horse image than the white dog image. This example serves to illustrate that visual similarity is ambiguous but can be made precise when given an explicit contextual perspective. Based on this observation, we propose the concept of contextual visual similarity. To be concrete, we examine the concept of contextual visual similarity in the application domain of image search. Instead of providing only a single image for image similarity search (\eg, Google image search), we require three images. Given a query image, a second positive image and a third negative image, dissimilar to the first two images, we define a contextualized similarity search criteria. In particular, we learn feature weights over all the feature dimensions of each image such that the distance between the query image and the positive image is small and their distances to the negative image are large after reweighting their features. The learned feature weights encode the contextualized visual similarity specified by the user and can be used for attribute specific image search. We also show the usefulness of our contextualized similarity weighting scheme for different tasks, such as answering visual analogy questions and unsupervised attribute discovery.

研究の動機と目的

• 視覚的類似性の曖昧さを解消するため、第三の画像を文脈として類似性を定義する文脈に配慮したフレームワークを導入すること。
• ユーザーが2枚の画像がなぜ類似しているかを明示的に指定できるように、ポジティブおよびネガティブの例を提供することで、類似性を明確にし、ユーザー主導のものとする。
• 事前に定義された属性や分類器を必要とせず、文脈的視覚的類似性を学習するための特徴量再重み付け機構を開発すること。
• 画像検索、類似性推論、属性発見といった複数のビジョンタスクにおいて、文脈的視覚的類似性の有効性を示すこと。

提案手法

• 本手法は、クエリ、ポジティブ画像（クエリと類似）、ネガティブ画像（両者と類似しない）の三つ組の画像を使用する。
• VGG や AlexNet からの特徴量（例：pool5 特徴量）が、学習された特徴量重みベクトルを用いて再重み付けされ、重み付けされた特徴量空間においてクエリとポジティブが近くなるように、両者とネガティブとの距離が遠くなるように制御される。
• 特徴量重みを学習するための共同最適化目的関数が使用され、クエリとポジティブ間の距離を最小化し、ネガティブとの距離を最大化するように、類似損失に類似した定式化が採用される。
• 学習された特徴量重みは、ユーザーの文脈的類似性認識（例：カテゴリや色による類似性）をエンコードする。
• 学習された重みに基づく類似性評価により、属性固有の画像検索が可能となり、画像を順序付けして検索結果を出力する。
• 視覚的類似性推論および教師なし属性発見のため、複数の三つ組から得られる重みを用いてパターンを同定し、共有される文脈的類似性に基づいて画像をクラスタリングする。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが提供する画像三つ組を通じて類似性の文脈を明示的にモデル化することで、視覚的類似性を明確にできるか？
• RQ2 事前にラベル付けされた属性に依存せずに、特徴量再重み付けを用いてユーザー定義の文脈的類似性（例：カテゴリ対比色）をエンコードできるか？
• RQ3 文脈的視覚的類似性は、ベースライン手法と比較して、属性固有の画像検索においてどの程度性能を向上させられるか？
• RQ4 学習された類似性フレームワークは、視覚的類似性質問への回答および教師なし属性発見を効果的に支援できるか？
• RQ5 学習された類似性メトリックに基づく三つ組のクラスタリングによって、どのような種類の属性が発見可能か？

主な発見

• 提案手法は、視覚的類似性質問への回答においてベースラインを顕著に上回り、アクションおよび色の類似性の両方で平均リCALLが向上した。
• 属性固有の画像検索において、k=5 のとき pool5 特徴量を用いて平均平均精度（MAP）が 0.565 を達成し、ベースライン（0.320）を上回り、k の増加に伴い一貫した改善が見られた。
• 正則化パrameter λ を変化させた結果、k=5 で λ=0.1 のとき MAP が 0.561 のピークを記録し、ハイパーパramータの選択に対して頑健であることが示された。
• 教師なし属性発見において、人間のアノテーターによる評価で116クラスタ中72クラスタが意味のあるものと判断され、そのうち43クラスタが「白」とラベル付けされ、13クラスタが「黒」とラベル付けされ、残りは「走る」「立つ」「泳ぐ」やハイブリッド属性として分類された。
• 定性的な結果から、本手法は、事前のアノテーションがなくても、色、行動、テクスチャなどの共有属性に基づいて画像を適切にグループ化できていることが示された。
• 本手法は、文脈に配慮した特徴量再重み付けが、属性のゼロショット学習を有効に可能にし、明示的な属性監視なしに下流のビジョンタスクを向上させられることを示している。