[論文レビュー] Practical Riemannian Neural Networks

Gaétan Marceau-Caron, Yann Ollivier|arXiv (Cornell University)|Feb 25, 2016

Stochastic Gradient Optimization Techniques参考文献 10被引用数 15

ひとこと要約

この論文は、計算的に効率的な自然勾配の近似を用いて、パラメータスケーリングや活性化関数の変更に対して不変性を示す実用的な準対角リーマンニューラルネットワーク最適化手法を導入する。これらの手法は、MNIST、SVHN、FACES、EEGデータセットにおいて、SGD や AdaGrad より一貫した性能向上を達成しており、約2倍の計算オーバーヘッドで、著しく高速な収束を実現する。

ABSTRACT

We provide the first experimental results on non-synthetic datasets for the quasi-diagonal Riemannian gradient descents for neural networks introduced in [Ollivier, 2015]. These include the MNIST, SVHN, and FACE datasets as well as a previously unpublished electroencephalogram dataset. The quasi-diagonal Riemannian algorithms consistently beat simple stochastic gradient gradient descents by a varying margin. The computational overhead with respect to simple backpropagation is around a factor $2$. Perhaps more interestingly, these methods also reach their final performance quickly, thus requiring fewer training epochs and a smaller total computation time. We also present an implementation guide to these Riemannian gradient descents for neural networks, showing how the quasi-diagonal versions can be implemented with minimal effort on top of existing routines which compute gradients.

研究の動機と目的

• ニューラルネットワークの実際の非合成データセットに対して、準対角リーマン勾配降下法の実装と評価を行う。
• これらのリーマン手法が、活性化関数の選択や入力符号号変更に対して不変性を保ちつつ、計算的に実行可能であることを示す。
• これらの手法が、最小限のハイパーパrameterチューニングでも、標準的なSGD や AdaGrad よりも高速な収束とより優れた最終性能を達成することを示す。
• 既存のディープラーニングフレームワークに最小限のコード変更で統合可能な、実用的な実装ガイドを提供する。
• 自然勾配の不変性特性が、正確なフィッシャー情報行列計算の全コストを伴わずに、効果的に近似可能であることを検証する。

提案手法

• この手法は、自然勾配フレームワークから導かれた準対角リーマンメトリクスを用い、パrameterのアフィン変換や活性化関数の変更に対して不変性を維持する。
• 2つの主要なルーチンを導入する：前提行列の更新を行う QDRankOneUpdate と、低ランク補正構造を活用して線形方程式系を効率的に解く QDSolve。
• 勾配と二乗勾配を各パラメータごとに追跡する点で、RMSProp や AdaGrad と同様の構造を採用しており、既存の勾配計算パイプラインの再利用が可能である。
• 前提行列は、わずかな適切に選ばれた非対角要素を除きほぼ対角構造となっており、高速な逆行列計算が可能でありながら、スケーリングや符号反転変換に対して不変性を維持する。
• 行列の逆行列化を保証するため、数値的安定性を考慮して小さな正則化項（ε = 10⁻⁸）を組み込み、不変性を損なわないように選定している。
• この手法は分類タスクおよびオートエンコーダタスクの両方へ適用可能であり、MNIST、SVHN、FACES、EEGデータセットにおいて、ガウス出力と学習可能な分散を伴う再構成を含む。

実験結果

リサーチクエスチョン

• RQ1 準対角リーマン最適化手法は、実世界の非合成データセットにおいて、標準的なSGD や AdaGrad を上回る性能を発揮できるか？
• RQ2 実際の応用において、これらのリーマン手法はパrameterスケーリングや活性化関数の変更（例：シグモイド対tanh）に対してどの程度不変性を保っているか？
• RQ3 これらの手法の計算オーバーヘッドは、標準的なバックプロパゲーションと比較してどの程度で、性能向上を裏付けるに値するか？
• RQ4 これらの手法は、標準的なアルゴリズムよりも収束が速いか？ これにより、必要なトレーニングエポック数と総合計算時間の削減が可能か？
• RQ5 異なるデータ分布やアーキテクチャ、特に学習可能な出力分散を伴うオートエンコーダーにおいて、これらの手法はどの程度の性能を示すか？

主な発見

• 準対角リーマンアルゴリズムは、MNIST、SVHN、FACES、EEGを含むすべてのテストデータセットで、一貫してSGD や AdaGrad を上回る性能を示した。性能向上の程度はデータセットごとに異なる。
• FACESデータセットでは、リーマン手法（特にQDOP）が数エポックで平均二乗誤差を45未満に低下させたが、SGD や AdaGrad は多くのエポックを経ても約45に留まった。
• EEGデータセットでは、FACESほど顕著ではないが、顕著な性能向上を示し、多様なデータタイプにわたる頑健性を確認した。
• 学習可能な出力分散を伴うMNISTオートエンコーダー実験では、QDOPが真のノイズモデルが対角ガウス分布から逸脱しても、最も効率的なアルゴリズムのままであった。
• リーマン手法では、初期トレーニングエポックで著しく高速な収束が確認され、最終的な性能に早く到達でき、総合トレーニング時間が短縮された。
• 計算オーバーヘッドは、標準的なバックプロパゲーションと比較して約2倍であり、実世界への導入に実用的であることが示された。