[論文レビュー] Efficient Low-rank Multimodal Fusion with Modality-Specific Factors

Zhun Liu, Ying Shen+4 more|arXiv (Cornell University)|May 31, 2018

Sentiment Analysis and Opinion Mining参考文献 25被引用数 85

ひとこと要約

論文は Low-rank Multimodal Fusion (LMF) を提案します。モダリティ固有の低ランク因子を用いて複数モダリティを効率的に融合し、モダリティ数の線形スケーラビリティを実現しつつ、テンソルベースの融合（TFN のような）と比較してパラメータ数と計算量を大幅に削減します。

ABSTRACT

Multimodal research is an emerging field of artificial intelligence, and one of the main research problems in this field is multimodal fusion. The fusion of multimodal data is the process of integrating multiple unimodal representations into one compact multimodal representation. Previous research in this field has exploited the expressiveness of tensors for multimodal representation. However, these methods often suffer from exponential increase in dimensions and in computational complexity introduced by transformation of input into tensor. In this paper, we propose the Low-rank Multimodal Fusion method, which performs multimodal fusion using low-rank tensors to improve efficiency. We evaluate our model on three different tasks: multimodal sentiment analysis, speaker trait analysis, and emotion recognition. Our model achieves competitive results on all these tasks while drastically reducing computational complexity. Additional experiments also show that our model can perform robustly for a wide range of low-rank settings, and is indeed much more efficient in both training and inference compared to other methods that utilize tensor representations.

研究の動機と目的

• マルチモーダル融合における全テンソル表現を用いた場合のスケーラビリティ問題を動機づけ、解決する。
• モダリティ固有の低ランク因子分解を提案し、モダリティ数の線形スケーリングを可能にする。
• LMF が感情認識、話者特性、感情認識で競争力のある性能を達成しつつ、パラメータと計算量を削減することを示す。

提案手法

• マルチモーダル融合を多項線形関数として定式化し、全てのテンソル融合の指数コストを特定する。
• 重みテンソルをモダリティ固有の低ランク因子に分解し、全入力テンソルを形成することを避ける効率的な計算を導出する。
• r 個のランク特異因子と要素ごとの積を用いて、Unimodal 表現から直接 h を計算する効率的な融合式を導出し、計算量を O(d_y * r * sum(d_m)) に削減する。
• 実用的な計算として、因子を M 次元3テンソルへ連結し、Lambda に基づく組み合わせを用いて実装する、やや異なる実装形を提供する。

実験結果

リサーチクエスチョン

• RQ1 LMF は全テンソル融合（TFN）と比較して、マルチモーダルタスクでの性能はどうなるか。
• RQ2 モダリティ数の増加に対して線形にスケールし、競争力のある精度と回帰指標を維持できるか。
• RQ3 様々なランク設定が性能と安定性に与える影響は何か。
• RQ4 パラメータ数と速度という点で、LMF は最先端のマルチモーダル融合手法とどう比較されるか。

主な発見

• LMF は評価されたタスクとデータセット全体で TFN を大きく上回り、低ランク融合の利点を示している。
• LMF は感情認識（MOSI）、感情（IEMOCAP）、話者特性認識（POM）で最先端に対して競争力を持つ結果を達成。
• 理論的・実証的分析は、LMF がモダリティ数に対して線形にスケールし、パラメータ数を削減することを示す（3モダリティ設定で TFN の約11分の1のパラメータ）。
• LMF は TFN と比較してトレーニングおよび推論速度が速い（報告された設定でのトレーニングおよびテスト IPS）。
• ランク設定: 非常に低いランクでも十分な性能を発揮し、高いランクは一部ケースで安定性に影響を与える。