[論文レビュー] Graph Optimal Transport for Cross-Domain Alignment

Li‐Qun Chen, Zhe Gan+4 more|arXiv (Cornell University)|Jun 26, 2020

Advanced Graph Neural Networks被引用数 22

ひとこと要約

本稿では、Wasserstein距離（WD）によるノード整合とGromov-Wasserstein距離（GWD）による構造的整合を用いて、エンティティマッチングをグラフマッチング問題として定式化する、一貫性のあるクロスドメイン整合のフレームワークであるGraph Optimal Transport（GOT）を提案する。GOTはニューラルネットワークにおけるドロップイン正則化項として機能し、スパースで解釈可能な輸送計画を生成し、画像・テキスト検索、VQA、キャプション生成、機械翻訳、要約生成といったタスクで一貫して性能を向上させる。

ABSTRACT

Cross-domain alignment between two sets of entities (e.g., objects in an image, words in a sentence) is fundamental to both computer vision and natural language processing. Existing methods mainly focus on designing advanced attention mechanisms to simulate soft alignment, with no training signals to explicitly encourage alignment. The learned attention matrices are also dense and lacks interpretability. We propose Graph Optimal Transport (GOT), a principled framework that germinates from recent advances in Optimal Transport (OT). In GOT, cross-domain alignment is formulated as a graph matching problem, by representing entities into a dynamically-constructed graph. Two types of OT distances are considered: (i) Wasserstein distance (WD) for node (entity) matching; and (ii) Gromov-Wasserstein distance (GWD) for edge (structure) matching. Both WD and GWD can be incorporated into existing neural network models, effectively acting as a drop-in regularizer. The inferred transport plan also yields sparse and self-normalized alignment, enhancing the interpretability of the learned model. Experiments show consistent outperformance of GOT over baselines across a wide range of tasks, including image-text retrieval, visual question answering, image captioning, machine translation, and text summarization.

研究の動機と目的

• 既存のアテンションベースのモデルにおけるクロスドメイン整合のための明示的トレーニング信号の欠如に対処すること。
• 密度的なアテンション行列の代わりに最適輸送計画を用いることで、学習された整合の解釈性とスパarsityを向上させること。
• 最適輸送理論を用いてノードレベルと構造レベルのマッチングを統合的に扱うクロスドメイン整合のフレームワークを構築すること。
• 既存のニューラルアーキテクチャと互換性があり、正則化項として利用可能な汎用的で微分可能なフレームワークを開発すること。
• 多様なマルチモーダルおよびNLPタスクにおけるフレームワークの実証的妥当性を検証すること。

提案手法

• 学習済み特徴埋め込みを用いて、各ドメインのエンティティを動的に構築されたグラフのノードとして表現する。
• Wasserstein距離（WD）を用いて、特徴埋め込みに基づいてドメイン間のノード（エンティティ）をマッチングする。
• Gromov-Wasserstein距離（GWD）を用いて、エンティティ間の相対的距離を比較することで、構造的関係（エッジ）をマッチングする。
• 全体の整合をWDとGWDの共同最適化として定式化し、ドメイン分布間の輸送コストを最小化する。
• GOT損失を既存のニューラルネットワークの目的関数に微分可能正則化項として統合し、アーキテクチャの変更なしに実装する。
• 訓練中に効率性と一貫性を確保するため、共有されたSinkhorn正則化輸送計画を用いる。

実験結果

リサーチクエスチョン

• RQ1 最適輸送は、微分可能で解釈可能かつスケーラブルな方法でクロスドメイン整合をモデル化するために効果的に適応可能か？
• RQ2 ノードレベル（WD）と構造レベル（GWD）のマッチングを組み合わせることで、単独で使用する場合と比較して整合性能が向上するか？
• RQ3 GOTは、多様な視覚および言語タスクの性能を向上させる汎用的でプラグイン可能な正則化項として機能可能か？
• RQ4 λ（WDとGWDの重み付け）のようなハイパーパrameterがモデル性能に与える影響はいかほどか？
• RQ5 GOTが学習する輸送計画は、主張通りスパースかつ解釈可能か？

主な発見

• GOTは、画像・テキスト検索、VQA、画像キャプション生成、機械翻訳、要約生成という5つの多様なタスクで、強力なベースラインを一貫して上回る性能を発揮した。
• EN-VI翻訳データセットでは、λ=0.8の条件下でBLEUスコア29.92を達成し、ベースライン（28.65）および共有されていない輸送計画バージョン（29.77）を上回った。
• アブレーションスタディの結果、共有輸送計画は訓練時間を短縮し、非共有計画よりも性能を向上させた。EN-VIでは0.15 BLEU、EN-DEでは0.16 BLEUの向上が得られた。
• 最適なλ値はEN-VIで0.8であった。これは翻訳タスクにおいてノードマッチング（WD）が構造マッチング（GWD）よりも寄与度が大きいことを示している。
• 輸送計画の可視化により、スパースで自己正規化された整合が確認された。例として「largest」と「more」、「projects」と「investment」の対応が観察され、解釈可能性が裏付けられた。
• 要約生成タスクでは、WDとGWDの両方がROUGEスコアを向上させ、本フレームワークが要約生成タスクへの一般化能力を有していることを示した。