[論文レビュー] Learning Shared Multimodal Embeddings with Unpaired Data.

AJ Piergiovanni, Michael S. Ryoo|arXiv (Cornell University)|Jun 21, 2018

Human Pose and Action Recognition参考文献 2被引用数 5

ひとこと要約

本論文は、ペairedデータとアンパairesドデータの両方を活用し、敵対的訓練を用いてテキストと動画の共有マルチモodal埋め込みを学習する手法を提案する。このアプローチは、ゼロショットアクティビティ分類、教師なしアクティビティ発見、未学習アクティビティのキャプション生成において顕著な性能向上を達成し、最小限の監督のもとでの共同埋め込み学習の有効性を示している。

ABSTRACT

In this paper, we propose a method to learn a joint multimodal embedding space. We compare the effect of various constraints using paired text and video data. Additionally, we propose a method to improve the joint embedding space using an adversarial formulation with unpaired text and video data. In addition to testing on publicly available datasets, we introduce a new, large-scale text/video dataset. We experimentally confirm that learning such a shared embedding space benefits three difficult tasks (i) zero-shot activity classification, (ii) unsupervised activity discovery, and (iii) unseen activity captioning.

研究の動機と目的

• テキストとビデオの表現を異なるモodal間で整合させる共同マルチモーダル埋め込み空間を学習すること。
• ペairedテキストおよびビデオデータを用いた共同埋め込み学習にさまざまな制約が与える影響を調査すること。
• アンパairesドテキストおよびビデオデータを用いた敵対的定式化により、共有埋め込み空間の品質を向上させること。
• ゼロショット一般化を要する困難な下流タスク上で学習された埋め込みを評価すること。
• マルチモーダル表現学習のベンチマークとして使用可能な、新しい大規模テキスト/ビデオデータセットを導入すること。

提案手法

• この手法は、深層ニューラルネットワークを訓練してテキストおよびビデオ入力を共通の潜在空間にマップすることで、共有埋め込み空間を学習する。
• ペairedデータを用いたコントラスト学習を適用し、意味的に類似したテキスト・ビデオペアの埋め込みが近くなるように促進する。
• アンパairesドテキストおよびビデオデータを用いて埋め込み空間を精緻化するための敵対的訓練のコンponentを導入し、一般化性能を向上させる。
• 敵対的定式化では、識別器を用いて本物のテキスト・ビデオペアと生成されたペアを区別させ、生成器がより整合性の高い表現を生成するように促進する。
• アライメントと多様性を最適化するために、コントラスト損失と敵対的損失の組み合わせを用いてエンドツーエンドでモデルを訓練する。
• 訓練および評価を支援するため、新しい大規模テキスト/ビデオデータセットを構築し、堅牢なベンチマークを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ペairedテキストおよびビデオデータを用いて学習する際、さまざまな制約が共同マルチモーダル埋め込みの品質にどのように影響するか？
• RQ2 アンパairesドデータを用いた敵対的訓練は、学習されたマルチモーダル埋め込みのアライメントおよび一般化性能を向上させることができるか？
• RQ3 共有埋め込み空間は、ファインチューニングなしでどの程度ゼロショットアクティビティ分類を可能にするか？
• RQ4 注釈のないアクティビティカテゴリが存在する状況で、学習された表現は教師なしアクティビティ発見にどの程度有効か？
• RQ5 共有埋め込み空間のみを用いて、未学習のアクティビティの正確なキャプションを生成できるか？

主な発見

• 提案手法は、共有埋め込み空間を活用することで、ゼロショットアクティビティ分類において最先端の性能を達成した。
• 教師なしアクティビティ発見は、共同埋め込み空間の改善されたアライメントにより顕著に利益を受けた。
• モデルは未学習のアクティビティへの一般化が強く、事前に露出したことがない状況でも正確なキャプション生成が可能であった。
• 敵対的訓練を用いてアンパairesドデータを活用することで、教師ありのみのベースラインに比べて埋め込み品質に顕著な向上が見られた。
• 新しい大規模データセットのおかげで、より堅牢な評価が可能となり、多様な動画コンテンツにわたる手法のスケーラビリティが確認された。