[論文レビュー] Multimodal Representation Learning using Deep Multiset Canonical Correlation

Krishna Somandepalli, Naveen Kumar+2 more|arXiv (Cornell University)|Apr 3, 2019

Face and Expression Recognition参考文献 26被引用数 21

ひとこと要約

本稿では、複数のモodal に一般化された非線形変換を共有部分空間に学習することで、モダリティ間およびモダリティ内共分散比を最大化する、Deep Multiset Canonical Correlation Analysis (dMCCA) を提案する。この手法は、CCAに基づく手法を上回り、ノイズのある手書き数字分類においてエンドツーエンドのディープラーニングモデルと同等の性能を示し、ラベルなしのマルチモーダル表現学習においてノイズに強く、効果的であることを示している。

ABSTRACT

We propose Deep Multiset Canonical Correlation Analysis (dMCCA) as an extension to representation learning using CCA when the underlying signal is observed across multiple (more than two) modalities. We use deep learning framework to learn non-linear transformations from different modalities to a shared subspace such that the representations maximize the ratio of between- and within-modality covariance of the observations. Unlike linear discriminant analysis, we do not need class information to learn these representations, and we show that this model can be trained for complex data using mini-batches. Using synthetic data experiments, we show that dMCCA can effectively recover the common signal across the different modalities corrupted by multiplicative and additive noise. We also analyze the sensitivity of our model to recover the correlated components with respect to mini-batch size and dimension of the embeddings. Performance evaluation on noisy handwritten datasets shows that our model outperforms other CCA-based approaches and is comparable to deep neural network models trained end-to-end on this dataset.

研究の動機と目的

• 従来のCCAおよびDCCAが2つのモダリティに限定されているという制限を克服し、N > 2 の複数モダリティに拡張すること。
• 教師ラベルを必要とせずに、複数モダリティ間の非線形関係を捉えるディープラーニングベースの手法を開発すること。
• 大規模で複雑なデータセットへのスケーラビリティを実現するため、ミニバッチを用いた確率的学習を可能にすること。
• モダリティ間およびモダリティ内共分散を同時に最適化することで表現学習を向上させ、信頼性と一般化性能を向上させること。
• 合成データおよび実世界のノイズありデータ（n-MNISTなど）において、dMCCAの有効性を示し、教師ありモデルと競合する性能を示すこと。

提案手法

• dMCCAは、N個のモダリティから共有の低次元埋め込み空間への非線形変換を、深層ニューラルネットワークを用いて学習する。
• 損失関数は、モダリティ間共分散とモダリティ内共分散の比を最大化するように設計されており、テスト・リテスト信頼性における信頼性指標に類似している。
• 大規模なデータセットへのスケーラブルな学習を実現するため、ミニバッチを用いた確率的勾配降下法を採用する。
• 信号の忠実性を保つために再構成損失を用い、モダリティ間の相関を評価するためにアフィニティ測度を用いる。
• バックプロパゲーションを用いてエンドツーエンドで訓練され、共分散行列の特異値から導出された勾配が使用される。
• アフィニティ指標を用いてモデルを評価する：再構成品質の指標としての集合内アフィニティ（Ra）、モダリティ間相関の指標としての集合間アフィニティ（Rs）。

実験結果

リサーチクエスチョン

• RQ1 共分散比を最大化することで、2つ以上のモダリティ間で共有表現を効果的に学習できるか？
• RQ2 ノイズありの実世界のマルチモーダルデータにおいて、dMCCAは教師ありおよび教師なしのベースラインと比較してどのように性能を発揮するか？
• RQ3 埋め込み次元およびミニバッチサイズが、表現品質に与える感度はどの程度か？
• RQ4 dMCCAは、線形およびカーネルベースのCCA手法よりも非線形な共有信号成分を効果的に捉えられるか？
• RQ5 教師ラベルを必要とせずに、dMCCAはエンドツーエンドの教師ありディープニューラルネットワークと同等の性能を達成できるか？

主な発見

• dMCCAはtanh活性化関数を用いた場合、集合間アフィニティ（Rs）が0.82を達成し、教師ありベースラインの0.60を大きく上回り、学習された表現におけるモダリティ間相関が強いことを示している。
• dMCCAの集合内アフィニティ（Ra）は0.76であり、教師あり手法の0.84より低いが、より高いRsは、より優れた共有表現品質を示している。
• 合成データでは、埋め込み次元K=10で性能が安定し、データ生成時に使用された真の相関成分の数と一致した。
• n-MNISTでは、K>40の埋め込み次元で87%の精度を達成し、線形MCCAおよびDCCAを上回り、エンドツーエンドの教師ありDNNと統計的に差がなかった。
• dMCCAの埋め込みに対してクラスタリングを実行したところ、NMI=0.72および完全性=0.67を達成し、教師なし学習における良好な線形分離性を示している。
• ミニバッチサイズが400以上であれば、dMCCAは一貫した性能を示し、確率的最適化における安定性を確認した。