[論文レビュー] Asymmetrically Weighted CCA And Hierarchical Kernel Sentence Embedding For Image & Text Retrieval

Youssef Mroueh, Etienne Marcheret+1 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Image and Video Retrieval Techniques参考文献 32被引用数 3

ひとこと要約

本稿では、非対称な正規化相関重みスケーリングを用いて検索アイテムをクエリ空間にマッピングすることで、画像とテキストの双方向検索性能を向上させる、非対称重み付きCCA（AW-CCA）を提案する。さらに、計算効率の良いT-SVDガイド付きTikhonov交差検証を用いた正則化と、優れた文表現を実現する新規の階層的カーネル文埋め込み（HKSE）を組み合わせた。本手法は、オフザシェル特徴量のみを用いてMSCOCOおよびFlickrベンチマークで最先端の性能を達成した。

ABSTRACT

Joint modeling of language and vision has been drawing increasing interest. A multimodal data representation allowing for bidirectional retrieval of images by sentences and vice versa is a key aspect. In this paper we present three contributions in canonical correlation analysis (CCA) based multimodal retrieval. Firstly, we show that an asymmetric weighting of the canonical weights, while achieving a cross view mapping from the search to the query space, improves the retrieval performance. Secondly, we devise a computationally efficient model selection, crucial to generalization and stability, in the framework of the Bj\"ork Golub algorithm for regularized CCA via spectral filtering. Finally, we introduce a Hierarchical Kernel Sentence Embedding (HKSE) that approximates Kernel CCA for a special similarity kernel between distribution of words embedded in a vector space. State of the art results are obtained on MSCOCO and Flickr benchmarks when these three techniques are used in conjunction.

研究の動機と目的

• CCAにおけるクロスビュー・マッピングの方向を再考することで、双方向画像・テキスト検索性能を向上させること。
• 正則化CCAにおける効率的な正則化とモデル選択により、モデルの汎化性能と数値的安定性を向上させること。
• マルチモーダル検索において、平均word2vecを凌駆するより効果的な文埋め込み手法を開発すること。
• オフザシェルの画像およびテキスト特徴量のみを用いて、標準ベンチマークで最先端の検索性能を達成すること。

提案手法

• AW-CCAは、正規化相関を用いて正規化相関重みを非対称に重み付けすることで、検索空間のアイテムをクエリ空間にマッピングし、検索性能を向上させる。
• 正則化CCAは、Björk-Golubアルゴリズムを用いたスペクトルフィルタリングにより実装され、2つの正則化ファミリー（Tikhonovおよび切断SVD（T-SVD））を用いる。
• T-SVD正則化の高速計算を活用して、Tikhonov正則化のパス選択をガイドするハイブリッド交差検証戦略を提案し、効率的かつ安定したモデル選択を実現する。
• 階層的カーネル文埋め込み（HKSE）は、単語埋め込み（例：word2vec）を階層的カーネルアプローチで集約し、ベクトル空間における単語分布の類似性をモデル化する。これは単純な平均化を上回る性能を発揮する。
• 最終的なシステムは、AW-CCAとHKSE、およびコサイン類似度を組み合わせてクロスモーダルマッチングを実現し、エンドツーエンドの双方向検索を可能にする。
• モデル選択はバリデーションセットを用いて実施され、MSCOCOおよびFlickrベンチマークで標準指標（r@1, r@5, r@10, メディアンランク）を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 CCA重みの非対称的重み付けによる検索アイテムのクエリ空間へのマッピングが、双方向検索性能を向上させるか？
• RQ2 計算効率の良い交差検証戦略を用いて、T-SVD正則化をCCAに効果的に適用できるか？
• RQ3 階層的カーネルベースの文埋め込み手法が、マルチモーダル検索タスクにおいて平均word2vecを上回る性能を発揮するか？
• RQ4 AW-CCA、HKSE、および効率的な正則化の組み合わせが、標準的な画像・テキスト検索ベンチマークで最先端の性能を達成するか？

主な発見

• 非対称重み付けを施したAW-CCAは、標準CCAおよびクロスビュー・マッピング手法と比較して、画像検索および画像キャプション検索の両方の性能を顕著に向上させる。
• T-SVDガイド付きTikhonov交差検証により、高速かつ安定したモデル選択が可能となり、最小限の計算オーバーヘッドで汎化性能が向上する。
• HKSEは、文埋め込み手法として平均word2vecを上回り、単語レベルの表現の集約をより効果的に行う。
• 1K枚のテスト画像を用いたMSCOCOベンチマークでは、最良の設定（AW-G-Tikh-CCA + ResNet + [HKSE (lin,rbf)||HKSE(rbf,rbf)])が、画像検索で39.68% r@1、画像アノテーションで55.16% r@1を達成した。
• Flickr 30Kベンチマークでは、同じ設定で画像検索が31.48% r@1、画像アノテーションが43.83% r@1を達成した。
• 本手法は、微調整済み特徴量を一切必要とせず、オフザシェルの画像およびテキスト埋め込みのみを用いて、MSCOCOおよびFlickrベンチマークで最先端の結果を達成した。