[論文レビュー] Weakly supervised cross-domain alignment with optimal transport

Siyang Yuan, Ke Bai+7 more|arXiv (Cornell University)|Aug 14, 2020

Multimodal Machine Learning Applications参考文献 64被引用数 5

ひとこと要約

本稿では、明示的なエンティティまたは対応関係のアノテーションが不要な細粒度の画像・テキスト意味的類似度を学習するために、最適輸送（OT）を用いた弱教師付きクロスドメインアライメント手法を提案する。特徴マッチングにOTを微分可能正則化子として定式化することで、視覚言語タスク全体で性能が向上し、単純なモデルがリtrievalおよびフレーズ局在化ベンチマークでより複雑なアーキテクチャを上回ることを可能にする。

ABSTRACT

Cross-domain alignment between image objects and text sequences is key to many visual-language tasks, and it poses a fundamental challenge to both computer vision and natural language processing. This paper investigates a novel approach for the identification and optimization of fine-grained semantic similarities between image and text entities, under a weakly-supervised setup, improving performance over state-of-the-art solutions. Our method builds upon recent advances in optimal transport (OT) to resolve the cross-domain matching problem in a principled manner. Formulated as a drop-in regularizer, the proposed OT solution can be efficiently computed and used in combination with other existing approaches. We present empirical evidence to demonstrate the effectiveness of our approach, showing how it enables simpler model architectures to outperform or be comparable with more sophisticated designs on a range of vision-language tasks.

研究の動機と目的

• エンティティやそれらの対応関係がラベル付けされていない弱教師付き設定下で、画像とテキスト間のクロスドメインアライメント（CDA）に直面する課題に対処すること。
• 強いアノテーションを必要とせずに、画像とテキストエンティティ間の細粒度の意味的類似度を学習する原理的で微分可能な手法を開発すること。
• 統一されたOTベースの正則化子を用いて、画像・テキスト検索、フレーズ局在化、視覚的質問応答などの視覚言語タスクでの性能を向上させること。
• OTベースのアライメントが最先端のモデルを上回るか同等の性能を発揮し、より単純なモデルアーキテクチャを可能にすることを示すこと。

提案手法

• 画像とテキスト特徴間の輸送計画を計算するために、最適輸送（OT）を用いた二部マッチング問題としてクロスドメインアライメントを定式化する。
• OTを損失関数内の微分可能正則化子として導入し、標準的なディープラーニングフレームワークを用いたエンドツーエンド学習を可能にする。
• スケーラビリティを確保するため、Sinkhornに基づく近似を用いて、OTの双対定式化により画像とテキスト埋め込み間の輸送コストを効率的に計算する。
• OT正則化子を画像エンコーダーとテキストエンコーダーの両方へ適用し、特徴表現とアライメントの共同最適化を可能にする。
• 最適輸送計画Tを解釈可能なアテンションに類似した行列として活用し、スパースかつ自己正規化されたアライメントを提供する。
• 既存のモデル（例：SCANや双一次アテンションネットワーク）にOT正則化子を統合し、アーキテクチャの変更なしに性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 最適輸送は、画像とテキスト間の弱教師付きクロスドメインアライメントを改善する原理的で微分可能な正則化子として使用可能か？
• RQ2 性能と解釈可能性の観点から、OTベースのアライメントはアテンション機構やランク付け損失と比較してどのように異なるか？
• RQ3 アーキテクチャの複雑さを増さずに、画像・テキスト検索やフレーズ局在化などの視覚言語タスクにおけるOTの性能向上はどの程度達成可能か？
• RQ4 弱教師付き設定下で、OT正則化子が画像およびテキストエンコーダーにおける特徴学習をどのように改善するか？
• RQ5 標準的なアテンション行列と比較して、OT輸送計画はより解釈可能でスパースなアライメントを提供できるか？

主な発見

• Flickr30kデータセットにおいて、提案手法のOT_TおよびOT_Sモデルは、それぞれR@1スコアが35.98および41.12を達成し、ベースラインのSCANモデル（20.79）を上回った。
• λ=2およびη=0.12のOT強化モデルは、画像・テキスト検索で合計検索スコア（Rsum）466.3を達成し、ベースラインのコサイン類似度モデル（450.8）を上回った。
• アブレーションスタディの結果、コサイン類似度にOTを追加することで、すべての指標で一貫して性能向上が確認され、R@1は4.5ポイント、Rsumは1.6ポイント向上した。
• 可視化結果から、OT輸送計画Tは標準的なアテンション行列と比較してスパースで解釈可能なアライメントを生成しており、画像領域とテキストフレーズの対応関係が明確に現れた。
• 本手法により、より単純なモデルがより複雑なアーキテクチャを上回るか同等の性能を達成でき、OTが正則化子としての有効性を示した。
• 定性的な結果から、モデルは正確なペアでない場合でも意味的に関連する画像と文を正しく検索できることを確認し、強力な一般化性能を示した。