[論文レビュー] Deep Cross-media Knowledge Transfer

Xin Huang, Yuxin Peng|arXiv (Cornell University)|Mar 10, 2018

Multimodal Machine Learning Applications参考文献 39被引用数 3

ひとこと要約

本稿では、大規模なソースデータセット（XMediaNet）から小規模なターゲットデータセットへ、メディア内意味的知識とメディア間相関知識を転送する二段階の転移フレームワーク、Deep Cross-media Knowledge Transfer (DCKT) を提案する。DCKT は、メディアレベルおよび相関レベルのドメイン差を同時に低減することで、クロスメディア検索の精度を著しく向上させ、Wikipedia や Pascal Sentences などのターゲットデータセットにおいて MAP スコアが最大で 10% 向上し、ドメインシフトやラベル空間の不一致に対しても頑健であることを示している。

ABSTRACT

Cross-media retrieval is a research hotspot in multimedia area, which aims to perform retrieval across different media types such as image and text. The performance of existing methods usually relies on labeled data for model training. However, cross-media data is very labor consuming to collect and label, so how to transfer valuable knowledge in existing data to new data is a key problem towards application. For achieving the goal, this paper proposes deep cross-media knowledge transfer (DCKT) approach, which transfers knowledge from a large-scale cross-media dataset to promote the model training on another small-scale cross-media dataset. The main contributions of DCKT are: (1) Two-level transfer architecture is proposed to jointly minimize the media-level and correlation-level domain discrepancies, which allows two important and complementary aspects of knowledge to be transferred: intra-media semantic and inter-media correlation knowledge. It can enrich the training information and boost the retrieval accuracy. (2) Progressive transfer mechanism is proposed to iteratively select training samples with ascending transfer difficulties, via the metric of cross-media domain consistency with adaptive feedback. It can drive the transfer process to gradually reduce vast cross-media domain discrepancy, so as to enhance the robustness of model training. For verifying the effectiveness of DCKT, we take the largescale dataset XMediaNet as source domain, and 3 widelyused datasets as target domain for cross-media retrieval. Experimental results show that DCKT achieves promising improvement on retrieval accuracy.

研究の動機と目的

• ディープラーニングベースの検索システムにおけるラベル付きクロスメディアデータの限界に取り組むこと。
• ラベル空間が異なる可能性のある多様な小規模なターゲットデータセットへ、大規模かつマルチモodalなデータセット（XMediaNet）からの有効な知識転送を可能にすること。
• ラベルが完全に重複しない状況においても、ソースドメインとターゲットドメイン間の顕著なドメイン差を低減すること。
• 転送の難易度に応じてサンプルを優先順位付けする段階的・適応的トレーニング戦略を通じて、モデルの頑健性と検索精度を向上させること。

提案手法

• ソースドメインとターゲットドメイン間のメディアレベル差（モダリティ内分布シフト）と相関レベル差（モダリティ間整合性）の両方を同時に最小化する二段階の転移アーキテクチャを提案する。
• クロスメディアドメイン整合性指標を用いた適応フィードバックを伴う段階的転移メカニズムを導入し、転送の難易度が低い順に繰り返しサンプルを選択する。
• 画像とテキストデータを共通の埋め込み空間に写像するため、共有エンコーダーとモダリティ固有のエンコーダーを備えた深層ニューラルネットワークを採用する。
• モード内整合性のためのコントラスト損失とモード間相関学習のためのクロスモーダルランク損失を組み合わせたマルチタスク損失関数を用いる。
• ハイパーパramータ α によって制御される動的サンプリング戦略を適用し、探索と一般化のバランスを取る。
• ソースドメイン（XMediaNet）で事前学習したモデルを初期点とし、段階的メカニズムを用いてターゲットドメインで微調整する。

実験結果

リサーチクエスチョン

• RQ1 大規模なクロスメディアデータセットからの知識転送が、アノテーションが限られた小規模なターゲットデータセットにおける検索性能を著しく向上させることができるか？
• RQ2 メディア内意味的知識とメディア間相関知識をどのように統合的に転送することで、モデルの一般化性能を向上させられるか？
• RQ3 転送の難易度に基づく段階的サンプル選択は、クロスメディア検索におけるモデルの頑健性を向上させ、ドメイン差を低減するか？
• RQ4 DCKT の性能は、ソースドメインとターゲットドメイン間のラベル空間の重複度にどれほど敏感か？

主な発見

• Wikipedia データセットでは、DCKT が MAP 0.511 を達成し、転送なしのベースラインモデル比で相対的に 10.5% の向上を示した。
• NUS-WIDE-10k データセットでは、DCKT が MAP 0.570 を達成し、ベースライン比で 7.5% の向上を示し、ラベル重複がわずかであっても強力な性能を発揮した。
• Pascal Sentences データセットでは、DCKT が MAP 0.585 を達成し、ベースライン比で 10.6% の向上を示し、ドメインシフトが顕著な状況下でも効果的な転送が可能であることを示した。
• アブレーションスタディの結果、メディアレベルと相関レベルの両方の転送を組み合わせた場合が最良の性能を示し、単独で用いる場合よりも優れていることが確認された。
• 段階的転移メカニズムは、ランダム選択やフルバッチサンプリング戦略を著しく上回り、DCKT_{Full} と DCKT_{Random} は DCKT_{Full} よりも低い MAP スコアを示した。
• ラベル空間の不一致に対しても、DCKT_{No\textbackslash{} overlap} の変種がラベルの重複カテゴリを削除しても性能低下が最小限に抑えられ、モデルの頑健性が保たれていることが示された。