[論文レビュー] A Multi-View Embedding Space for Modeling Internet Images, Tags, and their Semantics

Yunchao Gong, Qifa Ke+2 more|arXiv (Cornell University)|Dec 18, 2012

Image Retrieval and Classification Techniques被引用数 4

ひとこと要約

本稿では、カーネル化された線形相関分析（KCCA）を用いて、視覚的特徴、テキストタグ、および高レベルの画像意味を統合的にモデル化する3ビュー埋め込み空間を提案する。この手法により、クロスモーダル検索の精度が顕著に向上した。文脈的ラベル（真値ラベルまたはタグから自動的にクラスタリングされたもの）を組み込むことで、3つの大規模データセットにおいて、画像対画像、タグ対画像、および画像対タグ検索の全般にわたり優れた性能を達成し、2ビューのベースラインと比較して顕著な性能向上を示した。

ABSTRACT

This paper investigates the problem of modeling Internet images and associated text or tags for tasks such as image-to-image search, tag-to-image search, and image-to-tag search (image annotation). We start with canonical correlation analysis (CCA), a popular and successful approach for mapping visual and textual features to the same latent space, and incorporate a third view capturing high-level image semantics, represented either by a single category or multiple non-mutually-exclusive concepts. We present two ways to train the three-view embedding: supervised, with the third view coming from ground-truth labels or search keywords; and unsupervised, with semantic themes automatically obtained by clustering the tags. To ensure high accuracy for retrieval tasks while keeping the learning process scalable, we combine multiple strong visual features and use explicit nonlinear kernel mappings to efficiently approximate kernel CCA. To perform retrieval, we use a specially designed similarity function in the embedded space, which substantially outperforms the Euclidean distance. The resulting system produces compelling qualitative results and outperforms a number of two-view baselines on retrieval tasks on three large-scale Internet image datasets.

研究の動機と目的

• インターネット上の画像とタグをモデル化する際の2ビューCCAの限界を克服するため、高レベルの意味情報を第3のビューとして統合すること。
• 大規模で多様なデータセットにおける画像対画像、タグ対画像、画像対タグ検索タスクの検索精度を向上させること。
• 統一された埋め込み空間を用いて、複数のクロスモーダル検索シナリオをサポートするスケーラブルで柔軟なフレームワークを構築すること。
• クラスタリングを用いてタグから潜在的な意味的テーマを発見するなど、教師ありおよび教師なしの両方の方法を用いて第3の意味的ビューを取得すること。
• 埋め込み空間において、標準的なユークリッド距離を上回る性能を示す、特別に設計された類似度関数を設計すること。

提案手法

• 本手法は、カーネル化されたCCA（KCCA）を用い、視覚的特徴、テキストタグ、意味的ラベルを、3つのビュー間の相関を最大化する共通の潜在空間にマップする。
• 教師あり学習では、第3のビューが真値ラベル（例：単一のカテゴリまたは互いに排他的でない複数のキーワード）から得られる。
• 教師なし学習では、タグ特徴をクラスタリングして意味的テーマを生成し、それを第3のビューとして用いる。
• SIFT、GIST、色ヒストグラムなどの複数の強力な視覚的特徴を統合し、明示的カーネル近似を用いて非線形的にマッピングすることで表現力を向上させる。
• 埋め込み空間において、意味的整合性をよりよく捉えるために、標準のユークリッド距離を上回る性能を示すカスタム類似度関数を設計する。
• フレームワークは柔軟な検索をサポートする：画像クエリは類似画像を検索可能であり、タグクエリは関連画像を検索可能であり、画像クエリから記述的タグ（自動アノテーション）を取得可能である。

実験結果

リサーチクエスチョン

• RQ1 高レベルの画像意味を第3のビューとして統合することで、2ビューCCAモデルを上回るクロスモーダル検索性能が向上するか？
• RQ2 タグの教師なし意味的クラスタリングが、意味的に意味のある意味的テーマを発見し、埋め込み空間を向上させるのにどの程度有効か？
• RQ3 埋め込み空間における提案された類似度関数が、検索タスクにおいてユークリッド距離を顕著に上回るか？
• RQ4 3ビュー埋め込みモデルが、1つの統一フレームワーク内で、画像対画像、タグ対画像、および画像対タグの多様な検索シナリオを処理できるか？
• RQ5 意味的ラベルの統合が、大規模でノイズの多いインターネット画像データセットにおいて、どの程度性能を向上させるか？

主な発見

• 提案された3ビューCCAモデルは、NUS-WIDEデータセットにおいて画像対タグ検索（K2I）で41.75%の精度を達成し、2ビューCCA（V+T）ベースラインの12.66%およびCCA（V+K）モデルの44.43%を大きく上回った。
• INRIA-Websearchデータセットでは、3ビューモデル（V+T+K）がタグ対画像検索で32.76%のprecision@20を達成し、2ビューCCA（V+T）ベースラインの25.67%を上回った。
• クラスタリングに基づく意味的ビューを用いた教師なしアプローチ（V+T+C）は、タグ対画像検索で13.61%のprecision@20を達成し、真値ラベルが不要な状況でも自動で発見された意味的特徴が検索を向上させることを示した。
• 定性的な結果では、図3に示すように、3ビュー埋め込み空間が2ビューCCAに比べて潜在空間内でのクラス分離性が優れていることが明らかになった。
• 埋め込み空間におけるカスタム類似度関数は、すべてのデータセットおよび検索タスクにおいて、常にユークリッド距離を上回る性能を示し、意味的関係を捉える有効性が確認された。
• 本手法は、与えられた画像に対して関連するタグを効果的に抽出する画像アノテーションにも有効であり、キーワードの重み付けを用いたインタラクティブなクエリ調整を可能にした。