[論文レビュー] CCL: Cross-modal Correlation Learning with Multi-grained Fusion by Hierarchical Network

Yuxin Peng, Jinwei Qi+2 more|arXiv (Cornell University)|Apr 7, 2017

Advanced Image and Video Retrieval Techniques参考文献 40被引用数 5

ひとこと要約

本稿では、マルチグレイン融合設定において、モダリティ内およびモダリティ間相関を統合的にモデル化する階層的クロスモダリティ相関学習フレームワーク、CCLを提案する。粗粒度のインスタンスと微粒度のパッチを共同最適化およびマルチタスク学習により統合することで、6つのベンチマークデータセットにおいて最先端の性能を達成し、クロスモダリティリテンション精度で13のSOTA手法を上回った。

ABSTRACT

Cross-modal retrieval has become a highlighted research topic for retrieval across multimedia data such as image and text. A two-stage learning framework is widely adopted by most existing methods based on Deep Neural Network (DNN): The first learning stage is to generate separate representation for each modality, and the second learning stage is to get the cross-modal common representation. However, the existing methods have three limitations: (1) In the first learning stage, they only model intra-modality correlation, but ignore inter-modality correlation with rich complementary context. (2) In the second learning stage, they only adopt shallow networks with single-loss regularization, but ignore the intrinsic relevance of intra-modality and inter-modality correlation. (3) Only original instances are considered while the complementary fine-grained clues provided by their patches are ignored. For addressing the above problems, this paper proposes a cross-modal correlation learning (CCL) approach with multi-grained fusion by hierarchical network, and the contributions are as follows: (1) In the first learning stage, CCL exploits multi-level association with joint optimization to preserve the complementary context from intra-modality and inter-modality correlation simultaneously. (2) In the second learning stage, a multi-task learning strategy is designed to adaptively balance the intra-modality semantic category constraints and inter-modality pairwise similarity constraints. (3) CCL adopts multi-grained modeling, which fuses the coarse-grained instances and fine-grained patches to make cross-modal correlation more precise. Comparing with 13 state-of-the-art methods on 6 widely-used cross-modal datasets, the experimental results show our CCL approach achieves the best performance.

研究の動機と目的

• 表現学習中にモダリティ間相関および微粒度の手がかりを無視する既存のクロスモダリティリテンション手法の限界を解決すること。
• 最初の段階で、モダリティ内およびモダリティ間相関を共同最適化することで、クロスモダリティ共通表現学習を向上させること。
• マルチグレインモデリングを用いて粗粒度のインスタンスと微粒度のパッチを統合することで、リテンション精度を向上させること。
• 2番目の段階で、意味的カテゴリとペairワイズ類似度制約を適応的にバランスさせるマルチタスク学習戦略を開発すること。
• 多様なクロスモダリティデータセットにおいて、提案フレームワークの有効性を実証すること

提案手法

• 粗粒度および微粒度の表現学習のための別個のサブネットワークを備えた階層的ネットワークを提案する。
• 最初の学習段階で、モダリティ内再構成損失とモダリティ間相関損失を共同最適化することで、補完的コンテキストを保持する。
• 2番目の段階で、モダリティ内意味的カテゴリ制約とモダリティ間ペアワイズ類似度制約を同時に強制するマルチタスク学習戦略を採用する。
• より正確なクロスモダリティ相関を実現するために、粗粒度および微粒度の表現を統合するための統合サブネットワークを用いる。
• 画像からの特徴的で局所的なパッチと対応するテキストセグメントを抽出・統合することで、マルチグレインモデリングを活用する。
• バックプロパゲーションを用いたエンドツーエンドの訓練により、共同最適化およびマルチタスクの目的関数を含む、ネットワーク全体を最適化する。

実験結果

リサーチクエスチョン

• RQ1 モダリティ内およびモダリティ間相関の共同最適化は、クロスモダリティリテンションにおける分離表現学習を改善できるか？
• RQ2 粗粒度のインスタンスと微粒度のパッチを統合することで、より正確なクロスモダリティ共通表現が得られるか？
• RQ3 意味的カテゴリとペアワイズ類似度制約をバランスさせるマルチタスク学習戦略は、リテンション性能を向上させられるか？
• RQ4 提案されたマルチグレイン統合フレームワークは、シングルグレインまたは非統合アプローチと比較して、正確性およびロバスト性の面で優れているか？
• RQ5 補完的微粒度の手がかりを組み込むことで、クロスモダリティ相関学習にどのような影響を与えるか？

主な発見

• CCLは、6つの広く使われているクロスモダリティデータセットにおいて、13の最先端手法を上回る最高の平均平均精度（MAP）を達成した。
• アブレーションスタディの結果、粗粒度または微粒度の表現のみを用いる場合、完全なマルチグレイン統合手法に比べて性能が低いことが示された。
• 最初の段階でモダリティ内およびモダリティ間相関を共同最適化することで、単一の相関タイプのみを用いる場合よりも高いMAPが得られた。
• 2番目の段階におけるマルチタスク学習戦略は、意味的カテゴリとペアワイズ類似度制約を効果的にバランスさせ、一般化性能を向上させた。
• CCLは一部のベースラインと比較してやや長い訓練時間であるが、推論時には最小限の追加コストで済み、実装に適している。
• 大規模なNUS-WIDEデータセットにおいても、CCLは高次元表現にもかかわらず高い効率性を維持し、KCCAのような非常に高次元の出力を持つ手法を上回った。