[論文レビュー] Stochastic Optimization for Deep CCA via Nonlinear Orthogonal Iterations

Weiran Wang, Raman Arora+2 more|arXiv (Cornell University)|Oct 7, 2015

Face and Expression Recognition参考文献 39被引用数 16

ひとこと要約

本論文は、非線形直交反復（NOI）を提案する。これは、直交反復によるCCAの再定式化と、適応的共分散推定を用いることで、小規模ミニバッチを用いた効果的な学習を可能にする、深層正準相関分析（DCCA）のための確率的最適化手法である。この手法は、バッチや大規模ミニバッチ最適化手法と同等の性能を達成しながら、メモリ使用量を著しく削減する。その結果、大規模なディープラーニングモデルにおいて実用的である。

ABSTRACT

Deep CCA is a recently proposed deep neural network extension to the traditional canonical correlation analysis (CCA), and has been successful for multi-view representation learning in several domains. However, stochastic optimization of the deep CCA objective is not straightforward, because it does not decouple over training examples. Previous optimizers for deep CCA are either batch-based algorithms or stochastic optimization using large minibatches, which can have high memory consumption. In this paper, we tackle the problem of stochastic optimization for deep CCA with small minibatches, based on an iterative solution to the CCA objective, and show that we can achieve as good performance as previous optimizers and thus alleviate the memory requirement.

研究の動機と目的

• 従来、非分解可能な目的関数のため、大規模なミニバッチまたはバッチ手法を必要としている深層正準相関分析（DCCA）における確率的最適化の課題に対処すること。
• 大規模なデータセットやGPU環境に適した、小規模ミニバッチを用いた効率的かつメモリ効率の良いDCCAモデルの学習を可能にすること。
• バッチベースや大規模ミニバッチ最適化手法の高メモリ消費を回避しながら、高いパフォーマンスを維持する手法を開発すること。
• 確率的設定において適応的共分散推定を活用することで、DCCAにおける一般化性能と収束性を向上させること。

提案手法

• 訓練例ごとの最適化を分離するために、直交反復を用いてCCA目的関数を再定式化する。
• DNN学習を直交反復フレームワーク内に組み込み、例ごとに自然に分離する非線形最小二乗回帰目的関数を用いる。
• メモリパラメータρを用いて共分散行列の適応的推定を行い、小規模ミニバッチにおけるホワイトニングの安定化を図る。
• 各ステップで現在のミニバッチでのみホワイトニングを行い、共分散推定の再帰的更新ルールを用いてノイズを低減し、安定性を向上させる。
• DNNパラメータの更新を反復的CCA解に統合することで、エンドツーエンドの確率的最適化を可能にする。
• メモリパラメータρによるモーメンタムに類似したメカニズムを用い、反復間で共分散推定を滑らかにすることで、小バッチでの収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非分解可能なCCA目的関数の性質を考慮しても、小規模ミニバッチで有効なDCCAのための確率的最適化が可能か？
• RQ2 小規模ミニバッチの確率的設定において、CCAのホワイトニング制約を安定的に近似できるか？
• RQ3 メモリ（ρ）を用いた適応的共分散推定が、学習の安定化とパフォーマンス向上に果たす役割は何か？
• RQ4 提案手法は、メモリ使用量を削減しながらも、バッチまたは大規模ミニバッチ最適化手法と同等のパフォーマンスを達成できるか？

主な発見

• NOIは、ミニバッチサイズn=1で学習しても、従来のバッチおよび大規模ミニバッチ最適化手法と同等の正準相関性能を達成する。
• 小規模ミニバッチ（n=1）において、ノイズの多い共分散推定のため進捗が著しく遅れる従来の確率的手法と比べ、本手法は顕著に優れた性能を示す。
• ρ=0.9999の適応的共分散推定は、MNIST線形CCAにおける閉形式のSVD解に非常に近い最適な性能を達成する。
• 最適なρ値はミニバッチサイズに依存し、より小さなnではノイズを低減するためにより高いρ値がより効果的である。
• NOIは極めて少ないメモリでも頑健で収束性を示し、勾配ノイズが少ないため、小バッチ環境下でSTOLを上回る性能を発揮する。