[論文レビュー] Survey on Deep Multi-modal Data Analytics: Collaboration, Rivalry and Fusion

Yang Wang|arXiv (Cornell University)|Jun 15, 2020

Advanced Image and Video Retrieval Techniques参考文献 146被引用数 29

ひとこと要約

本調査は、深層ニューラルネットワークにおける共同作業、敵対的競合、統合戦略に注目した、深層マルチモーダルデータ分析の包括的概要を提示する。GANS やマルチビュー自己オートエンコーダーのようなアーキテクチャを通じて、異種のデータソースからの補完的情報を活用することで、クラスタリング、分類、リtrieval の性能が向上する。

ABSTRACT

With the development of web technology, multi-modal or multi-view data has surged as a major stream for big data, where each modal/view encodes individual property of data objects. Often, different modalities are complementary to each other. Such fact motivated a lot of research attention on fusing the multi-modal feature spaces to comprehensively characterize the data objects. Most of the existing state-of-the-art focused on how to fuse the energy or information from multi-modal spaces to deliver a superior performance over their counterparts with single modal. Recently, deep neural networks have exhibited as a powerful architecture to well capture the nonlinear distribution of high-dimensional multimedia data, so naturally does for multi-modal data. Substantial empirical studies are carried out to demonstrate its advantages that are benefited from deep multi-modal methods, which can essentially deepen the fusion from multi-modal deep feature spaces. In this paper, we provide a substantial overview of the existing state-of-the-arts on the filed of multi-modal data analytics from shallow to deep spaces. Throughout this survey, we further indicate that the critical components for this field go to collaboration, adversarial competition and fusion over multi-modal spaces. Finally, we share our viewpoints regarding some future directions on this field.

研究の動機と目的

• 浅い特徴空間から深い特徴空間への最新の深層マルチモーダル学習手法を体系的にレビューすること。
• マルチモーダルデータ分析における共同作業、敵対的競合、統合の重要な役割を特定・分析すること。
• 深層ニューラルネットワークがマルチモーダル相互作用を通じて特徴表現と性能をどのように向上させるかを検証すること。
• 初期統合と後期統合戦略の限界を検討し、より効果的な共同統合メカニズムを提唱すること。
• 複雑な現実世界の問題に向けた空間的・時間的マルチモーダル共同作業に焦点を当てた今後の研究方向性を提案すること。

提案手法

• マルチモーダル統合戦略の分類法を提案：初期統合（特徴の早期連結）、後期統合（独立処理後の集約）、共同統合（複数のビュー間で一貫性を達成するための共同最適化）。
• マルチビュー自己オートエンコーダーや深層メトリクス学習ネットワークなどの深層マルチモーダルアーキテクチャをレビューし、複数のモダリティ間で共有表現を学習する。
• CM-GANs を導入。これは、画像とテキストモダリティ間で敵対的トレーニングを可能にする、二重判別器（モダリティ内およびモダリティ間）を備えたクロスモダル GAN フレームワーク。
• CM-GANs では、生成器の損失を最小化すると同時に、モダリティ内およびモダリティ間の両方の判別器の識別性能を最大化する共同最適化目的関数を採用。
• 画像とテキストモダリティそれぞれに別々の生成器と判別器を備えた二重ストリームアーキテクチャを採用し、敵対的フィードバックによってマルチモーダルな整合性を実現。
• 空間的・時間的マルチモーダル共同作業のフレームワークを提案。異なるモダリティのエージェントが最適な時間と場所で情報を交換することで、複雑さを低減し、非最適な意思決定を回避。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、複数のモダリティから得られる補完的情報を効果的に統合することで、マルチモーダル学習タスクの性能をどのように向上させられるか？
• RQ2 マルチモーダルデータ分析において、初期統合および後期統合戦略と比較して、共同統合の利点と限界は何か？
• RQ3 GAN を用いた敵対的トレーニングは、マルチモーダル表現学習をどのように強化し、特徴の識別性を向上させられるか？
• RQ4 複雑で不確実な環境（例：道路網）において、マルチモーダルエージェントは空間的・時間的にどのように協力し合い、計算複雑性を低減し、非最適な経路を避けることができるか？
• RQ5 実用的応用において、堅牢でリアルタイムなマルチモーダル共同作業を実現するためには、どのような今後の研究方向性が必要か？

主な発見

• 共同統合は、複数のモダリティ間での共同最適化と一貫性学習を可能にすることで、初期統合および後期統合を上回る性能を達成する。
• 特に自己オートエンコーダーとメトリクス学習を用いた深層マルチモーダルモデルは、非線形的かつ高次元の表現を捉えることで、クラスタリングおよび分類タスクで優れた性能を発揮する。
• CM-GANs は、モダリティ内およびモダリティ間の両方の判別器を共同でトレーニングすることで、より識別性の高い共有表現を実現し、クロスモダルな整合性を向上させる。
• マルチモーダル GAN における敵対的トレーニングは、生成器がモダリティ間で現実的かつ整合性のある表現を生成するよう促すことで、特徴の質と一般化性能を向上させる。
• 空間的・時間的共同作業により、マルチモーダルエージェント間の情報交換が、大規模ネットワークにおける探索の複雑さを顕著に低減し、トラップを回避する。これはルート探索の例で実証された。
• ベンチマークデータセットにおける実験結果から、深層マルチモーダル手法が、クラスタリング、分類、リtrieval タスクにおいて、単一モダリティベースラインを一貫して上回ることが確認された。