[論文レビュー] Deep Multi-View Learning with Stochastic Decorrelation Loss.

Xiaobin Chang, Tao Xiang+1 more|arXiv (Cornell University)|Jul 30, 2017

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、SVD計算を必要とせずに複数の視点における活性化の非相関化を効率的に行える、スケーラブルなミニバッチベースの確率的非相関損失（SDL）を提案する。SDLはDCCAおよびFAEフレームワークを統合し、従来の非相関化手法に比べてスケーラビリティとパフォーマンスを向上させる。

ABSTRACT

Multi-view learning aims to learn an embedding space where multiple views are either maximally correlated for cross-view recognition, or decorrelated for latent factor disentanglement. A key challenge for deep multi-view representation learning is scalability. To correlate or decorrelate multi-view signals, the covariance of the whole training set should be computed which does not fit well with the mini-batch based training strategy, and moreover (de)correlation should be done in a way that is free of SVD-based computation in order to scale to contemporary layer sizes. In this work, a unified approach is proposed for efficient and scalable deep multi-view learning. Specifically, a mini-batch based Stochastic Decorrelation Loss (SDL) is proposed which can be applied to any network layer to provide soft decorrelation of the layer's activations. This reveals the connection between deep multi-view learning models such as Deep Canonical Correlation Analysis (DCCA) and Factorisation Autoencoder (FAE), and allows them to be easily implemented. We further show that SDL is superior to other decorrelation losses in terms of efficacy and scalability.

研究の動機と目的

• （非）相関化に必要なフルバッチ共分散計算によるディープマルチビュー学習のスケーラビリティ課題に対処する。
• 計算コストの高いSVD演算に依存せずに、ディープネットワークにおける活性化の効率的非相関化を可能にする。
• 微分可能でレイヤーに依存しない損失を用いて、DCCA や FAE などの既存モデルを統一するフレームワークを構築する。
• 標準的なミニバッチ最適化スキームと互換性を持つ、トレーニングに適した損失を開発する。

提案手法

• フルデータセットではなく、小さな確率的バッチ上で非相関化を計算するミニバッチベースの確率的非相関損失（SDL）を提案する。
• 任意のネットワーク層にSDLを微分可能正則化損失として適用し、活性化特徴のソフト非相関化を促進する。
• 共分散行列のトレースに基づく近似としてSDLを定式化し、明示的なSVD分解を回避する。
• SDLをディープアーキテクチャに統合し、標準的なバックプロパゲーションを用いたエンドツーエンド学習を可能にする。
• SDLが層全体に均一に適用可能であり、視点間相関の低減と潜在的要因の分離の両方を可能にすることを示す。
• SDLがDCCA や FAE などの既存モデルに一般化可能であり、それらの効率的実装を可能にすることを示す。

実験結果

リサーチクエスチョン

• RQ1 フルバッチ共分散計算を必要とせずに、大規模なディープネットワークに効率的にスケーリング可能な非相関損失を設計できるか？
• RQ2 提案されたSDLは、トレーニング効率性と表現品質の観点で、既存の非相関損失と比べてどのように異なるか？
• RQ3 SDLは、DCCA や FAE などの既存のマルチビュー学習モデルをどれほど統合的かつ改善可能か？
• RQ4 SDLは、各トレーニングステップでSVDを排除しながらも、パフォーマンスを維持できるか？

主な発見

• SDLはSVDを必要とせず、ディープネットワークにおける活性化の効果的な非相関化を可能にし、トレーニングのスケーラビリティを顕著に向上させる。
• SDLは、視点間認識および分離タスクの両方において、他の非相関損失と比較して優れたパフォーマンスを達成する。
• SDLはDCCA や FAE などの既存モデルへのシームレスな統合を可能にし、それらの実用性とトレーニング効率性を向上させる。
• SDLは標準的なミニバッチトレーニングと互換性があり、現代のディープラーニングフレームワークおよび大規模データセットに適している。