[論文レビュー] On Deep Multi-View Representation Learning: Objectives and Optimization

Weiran Wang, Raman Arora+2 more|arXiv (Cornell University)|Feb 2, 2016

Advanced Image and Video Retrieval Techniques参考文献 58被引用数 48

ひとこと要約

本稿では、正準相関分析（CCA）とオートエンコーダーの目的関数を組み合わせた、深層多視覚表現学習フレームワークである深層正準相関自己オートエンコーダー（DCCAE）を提案する。実験的に、DCCAEは再構成に基づくオートエンコーダーおよび標準的な深層CCAを上回り、テスト時に1つの視覚のみが利用可能な状況下でも、優れた特徴抽出性能を示す。

ABSTRACT

We consider learning representations (features) in the setting in which we have access to multiple unlabeled views of the data for learning while only one view is available for downstream tasks. Previous work on this problem has proposed several techniques based on deep neural networks, typically involving either autoencoder-like networks with a reconstruction objective or paired feedforward networks with a batch-style correlation-based objective. We analyze several techniques based on prior work, as well as new variants, and compare them empirically on image, speech, and text tasks. We find an advantage for correlation-based representation learning, while the best results on most tasks are obtained with our new variant, deep canonically correlated autoencoders (DCCAE). We also explore a stochastic optimization procedure for minibatch correlation-based objectives and discuss the time/performance trade-offs for kernel-based and neural network-based implementations.

研究の動機と目的

• テスト時に1つの視覚のみが利用可能な状況における、深層ニューラルネットワークに基づく多視覚表現学習手法の比較と分析を行う。
• 多視覚表現学習において、相関に基づく目的関数（例：CCA）と再構成に基づく目的関数（例：オートエンコーダー）の有効性を調査する。
• CCAとオートエンコーダーの目的関数を統合した新しい深層モデル、DCCAEの開発と評価を行う。
• 深層CCAにおける確率的最適化の理論的・実験的トレードオフを分析し、バッチ法と比較する。
• MNISTに基づく新しいベンチマークデータセットとコードを公開し、再現可能性および今後の研究を支援する。

提案手法

• 正準相関分析（CCA）に基づく相関目的関数とオートエンコーダーの再構成目的関数を同時に最適化する深層正準相関自己オートエンコーダー（DCCAE）を提案する。
• 各視覚に対して個別のエンコーダーを用いて共有表現を抽出し、その後、共有特徴から元の視覚を再構成するデコーダーを適用する。
• 深層CCA目的関数に対して確率的最適化手順を採用し、理論的収束保証を伴うミニバッチ学習を可能にする。
• 行列 Bernstein 不等式を用いて、標本ノイズ下での推定 CCA 変換行列の一般化バウンドを導出する。
• バッチ最適化と確率的最適化の両方を用いた、深層CCA、オートエンコーダー、カーネルCCA などのベースライン手法と DCCAE を比較する。
• 小さなバッチ設定における数値的安定性と一般化性能の向上を図るため、共分散推定に正則化を適用する。

実験結果

リサーチクエスチョン

• RQ1 相関に基づく深層多視覚学習は、再構成に基づくアプローチよりも、下流タスクで優れた性能を示すか？
• RQ2 CCA とオートエンコーダーの目的関数を組み合わせることで、単独で用いる場合よりも優れた表現が得られるか？
• RQ3 確率的最適化による深層CCAは、バッチ最適化と比較して、性能と学習時間の点でどのように異なるか？
• RQ4 標本ノイズ下での確率的深層CCAの理論的一般化バウンドは何か？
• RQ5 DCCAE および他の手法は、画像、音声、テキストなど多様なデータモダリティにおいて、どのように性能を発揮するか？

主な発見

• DCCAE は全評価タスクで最高の性能を達成し、再構成に基づくオートエンコーダーおよび標準的な深層CCAを一貫して上回った。
• 相関に基づく手法、特に DCCAE は、画像、音声、テキストタスクにおいて、制約のない再構成に基づく手法を顕著に上回った。
• 深層CCA における確率的最適化はバッチ法の代替手段として有効であり、特に大規模データセットでは、競争力のある性能と短い学習時間を実現した。
• 理論的分析から、ミニバッチサイズが大きくなるほど、および共分散行列の条件数が良いほど、CCA 変換行列の推定におけるスペクトルノルム誤差が減少することが示された。
• 実験的比較により、DCCAE は特に高次元設定において、低ランク近似 KCCA 手法よりも一般化性能に優れていることが確認された。
• 公開されたベンチマークデータセットとコードベースにより、再現性が確保され、今後の深層多視覚表現学習分野の研究を促進できる。