[論文レビュー] Compositional Correlation Quantization for Large-Scale Multimodal Search.

Mingsheng Long, Jianmin Wang+1 more|arXiv (Cornell University)|Apr 19, 2015

Advanced Image and Video Retrieval Techniques参考文献 35被引用数 4

ひとこと要約

本稿では、複数のモダリティからコン pact なバイナリコードを生成するための、大規模なマルチモーダル検索のための新規手法 Compositional Correlation Quantization (CCQ) を提案する。CCQ は、相関最大化写像と構成的量子化器を同時に学習することで、再構成誤差と量子化誤差を最小限に抑えつつ、モダリティ内およびモダリティ間の類似性を保持し、ペaired および unpaired データを用いて線形時間で学習することで、優れた検索精度と効率性を達成する。

ABSTRACT

Efficient similarity retrieval from large-scale multimodal database is pervasive in current search systems with the big data tidal wave. To support queries across content modalities, the system should enable cross-modal correlation and computation-efficient indexing. While hashing methods have shown great potential in approaching this goal, current attempts generally failed to learn isomorphic hash codes in a seamless scheme, that is, they embed multiple modalities into a continuous isomorphic space and then threshold embeddings into binary codes, which incurred substantial loss of search quality. In this paper, we establish seamless multimodal hashing by proposing a novel Compositional Correlation Quantization (CCQ) model. Specifically, CCQ jointly finds correlation-maximal mappings that transform different modalities into an isomorphic latent space, and learns compositional quantizers that quantize the isomorphic latent features into compact binary codes. An optimization framework is developed to preserve both intra-modal similarity and inter-modal correlation while minimizing both reconstruction and quantization errors, which can be trained from both paired and unpaired data in linear time. A comprehensive set of experiments clearly show the superior effectiveness and efficiency of CCQ against the state-of-the-art techniques on both unimodal and cross-modal search tasks.

研究の動機と目的

• ビッグデータの文脈下で、大規模なマルチモーダルデータベースにおける効率的な類似度検索の課題に取り組む。
• 埋め込みと量子化を二段階に分けて行う従来のハッシング手法が引き起こす品質劣化を克服する。
• 中間のしきい値処理を経由せずに、モダリティ間で一様なハッシュコードをシームレスに学習可能にする。
• ペア化されたデータとペア化されていないデータの両方で効果的に動作する手法を開発する。
• モダリティ内およびモダリティ間の相関を保持しながら、線形時間での学習を達成する。

提案手法

• CCQ は、異なるモダリティを共有の同型潜在空間に写像する相関最大化写像を同時に学習する。
• 同型潜在特徴をコンパクトなバイナリコードに変換する構成的量子化器を設計する。
• 最適化フレームワークは、再構成誤差と量子化誤差を最小化するとともに、モダリティ内類似性とモダリティ間相関を保持する。
• ペア化されたデータとペア化されていないデータの両方を用いてエンドツーエンドで学習されるため、スケーラビリティとロバストネスが向上する。
• 最適化は線形時間で解けるように定式化されており、大規模な展開をサポートする。
• 連続的埋め込みを学習した後にしきい値処理でバイナリコードに変換する、劣化が生じやすい二段階プロセスを回避する。

実験結果

リサーチクエスチョン

• RQ1 しきい値処理による品質損失なしに、統合フレームワークが同型表現と量子化を同時に学習可能かどうか。
• RQ2 量子化の過程で、CCQ が潜在空間においてモダリティ内およびモダリティ間の相関をどの程度効果的に保持できるか。
• RQ3 CCQ が従来のハッシング手法に比べて、単モダリティおよびクロスモダリティ検索タスクでどの程度優れた性能を発揮するか。
• RQ4 CCQ がペア化されたデータとペア化されていないデータの両方を用いて高い性能を発揮できるか。
• RQ5 CCQ は大規模な設定において、最先端の手法と比較してどの程度の計算効率を達成できるか。

主な発見

• CCQ は、最先端の手法と比較して、単モダリティおよびクロスモダリティ検索タスクの両方で優れた検索性能を達成する。
• ペア化されていないデータで学習しても、高い検索精度を維持しており、データペアリング制約に対してロバストであることが示された。
• CCQ の線形時間最適化により、大規模データセットでの効率的な学習が可能となり、実世界の展開を支援する。
• 相関最大化写像と構成的量子化器の統合的学習により、量子化誤差が低減され、意味的類似性が保持される。
• 包括的な実験において、従来のハッシング技術に比べて平均平均精度（mAP）が顕著に向上した。
• CCQ は、特にクロスモダリティ検索のシナリオにおいて、速度と精度の両面で既存手法を上回る。