[論文レビュー] Backpropagation-Friendly Eigendecomposition

Wei Wang, Zheng Dang+3 more|arXiv (Cornell University)|Jun 21, 2019

Algorithms and Data Compression参考文献 21被引用数 16

ひとこと要約

この論文は、順伝播でSVDを、逆伝播でパワー反復法を用いることで、数値的に安定で微分可能な固有値分解手法を提案する。この手法により、頑健なZCAホワイトニングが可能となり、PCAノイズ除去を新たな正則化層として導入し、CIFAR-10においてバッチ正則化や標準的な固有値分解よりも安定性と精度で優れる。

ABSTRACT

Eigendecomposition (ED) is widely used in deep networks. However, the backpropagation of its results tends to be numerically unstable, whether using ED directly or approximating it with the Power Iteration method, particularly when dealing with large matrices. While this can be mitigated by partitioning the data in small and arbitrary groups, doing so has no theoretical basis and makes its impossible to exploit the power of ED to the full. In this paper, we introduce a numerically stable and differentiable approach to leveraging eigenvectors in deep networks. It can handle large matrices without requiring to split them. We demonstrate the better robustness of our approach over standard ED and PI for ZCA whitening, an alternative to batch normalization, and for PCA denoising, which we introduce as a new normalization strategy for deep networks, aiming to further denoise the network's features.

研究の動機と目的

• 固有値が近接している場合や行列が大きい場合に、深層ネットワークにおける固有値分解への逆伝播の数値的不安定性を解消すること。
• 勾配爆発や初期値・反復回数に敏感な標準的なSVDおよびパワー反復法の限界を克服すること。
• 任意のチャネル分割なしにフルランク固有値分解を可能とし、モデル容量と理論的一致性を維持すること。
• 不要な特徴ノイズを除去することで分類性能を向上させる、PCAノイズ除去を新たな正則化戦略として導入すること。
• 提案手法のハイブリッド法が、標準的なSVD、パワー反復法、バッチ正則化よりも優れた訓練安定性と低い誤差率を達成することを示すこと。

提案手法

• 順伝播では正確な固有ベクトルと固有値を計算するためにSVDを用い、順伝播計算における数値的安定性を確保する。
• 逆伝播ではSVDの結果をパワー反復法の初期値として活用し、勾配を計算する。
• 固有値が近接している場合に不安定になる分析的SVD微分を避けるために、勾配をパワー反復法で計算する。
• パワー反復回数によって勾配の大きさを制限することで、近似的に退化した固有値に対しても爆発を防ぐ。
• PyTorchのPythonベースのautogradを用いて逆伝播を実装し、順伝播は安定なSVD分解に依存する。
• 保持する固有ベクトルの数を保存される分散に基づいて動的に調整することで、柔軟なPCAノイズ除去を実現する。

実験結果

リサーチクエスチョン

• RQ1 SVDとパワー反復法を組み合わせたハイブリッド固有値分解法は、近似的に退化した固有値が存在する場合でも、深層ネットワークにおける逆伝播を安定に実行できるか？
• RQ2 提案手法は、標準的なSVDおよびパワー反復法と比較して、固有値分解に基づく層の訓練安定性と収束性において優れているか？
• RQ3 提案された固有値分解法によって可能になったPCAノイズ除去は、深層ネットワークにおけるバッチ正則化の有効な代替手段となり得るか？
• RQ4 パワー反復回数が、提案フレームワークにおける勾配計算の精度と安定性に与える影響は何か？
• RQ5 分散の異なるパcent（90%〜99%）を保持した場合、分類タスクにおけるPCAノイズ除去層の性能にどのような影響があるか？

主な発見

• PCAノイズ除去を用いた場合、CIFAR-10における平均テスト誤差は4.63% ± 0.11に達し、バッチ正則化（4.81% ± 0.19）を上回った。
• PCAノイズ除去層で99%の分散を保持した場合が最良の性能を示し、誤差率は4.63% ± 0.11であった。
• 逆伝播で2回のパワー反復のみを用いても、ほぼ最適な性能（4.63%誤差）が達成され、29回の反復とほぼ同等の結果となった。
• この手法は優れた訓練安定性を示し、滑らかな損失曲線を示した一方で、標準的なパワー反復法は顕著な不安定性と高い最終誤差を示した。
• 標準的なSVDベースの逆伝播は5回中5回失敗し、勾配爆発によりNaN値を発生させたが、提案手法は安定に保たれた。
• 保持する固有ベクトルの数（8〜32）に関わらずPCAノイズ除去層は一貫した性能を示し、最適な性能は16個の固有ベクトル（約99.9%の分散保持）で達成された。