[論文レビュー] Norm-preserving Orthogonal Permutation Linear Unit Activation Functions (OPLU)

Artem Chernodub, Dimitri Nowicki|arXiv (Cornell University)|Apr 8, 2016

Advanced Neural Network Applications参考文献 21被引用数 11

ひとこと要約

本稿では、事前活性化値の直交的置換を用いることで、逆伝播される勾配のノルムを厳密に保存する、分離線形活性化関数であるNorm-preserving Orthogonal Permutation Linear Unit (OPLU) を提案する。OPLU は MNIST および Adding problem において ReLU や tanh と同等の性能を発揮し、再帰的ネットワークにおける勾配ノルムの安定性を実現する。これは、直交的重み初期化を併用した深層および再帰的ネットワークの学習に有望であることを示している。

ABSTRACT

We propose a novel activation function that implements piece-wise orthogonal non-linear mappings based on permutations. It is straightforward to implement, and very computationally efficient, also it has little memory requirements. We tested it on two toy problems for feedforward and recurrent networks, it shows similar performance to tanh and ReLU. OPLU activation function ensures norm preservance of the backpropagated gradients, therefore it is potentially good for the training of deep, extra deep, and recurrent neural networks.

研究の動機と目的

• 直交的重み初期化の文脈において、深層および再帰的ニューラルネットワークにおける勾配消失／爆発問題に対処すること。
• バックプロパゲーション中に勾配ノルムを保存する活性化関数の開発を目的とし、非常に深いネットワークの安定した学習を可能とすること。
• 直交性に基づく明確な理論的基盤を持つが、計算コストが高くなく、メモリ使用量が少ない、既存の非線形活性化関数の代替手段を提供すること。
• OPLU の実用性と性能を、特に長期依存性学習を要する状況を想定した、前向きおよび再帰的アーキテクチャ上で評価すること。

提案手法

• OPLU は、事前活性化ベクトル $\mathbf{a}^{(n)}$ に対して分離的直交的置換を適用し、置換行列 $\mathbf{P}$ を介して $\mathbf{z}^{(n)}$ に写像する。このプロセスにより $\|\mathbf{z}^{(n)}\| = \|\mathbf{a}^{(n)}\|$ が保証される。
• OPLU の微分は、すべての点で直交行列であるため、非線形性を経由しても逆伝播される勾配のノルムが変化しないことが保証される。
• 関数は $\mathbf{z}^{(n)} = \mathbf{P} \cdot \mathbf{a}^{(n)}$ として実装され、$\mathbf{P}$ は $\mathbf{a}^{(n)}$ の符号パターンに基づいて選択される。
• OPLU は、直交的重み行列と併用されるように設計されており、ネットワーク全体の勾配ノルム保存を保証する。
• 行列演算を避けるために置換のみを用いるため、計算効率が高く、メモリ使用量も少ない。
• 著者らは、標準的手法（例：MATLAB の `orth()` 関数）を上回る性能を示す、ランダムな反対称行列の行列指数を用いて直交的初期化を生成している。

実験結果

リサーチクエスチョン

• RQ1 直交的重み行列と組み合わせた場合、分離線形活性化関数が層間で勾配ノルムを保存できるか？
• RQ2 OPLU は、前向きネットワークにおける分類精度および学習安定性の観点で、ReLU や tanh と比較してどのように性能を発揮するか？
• RQ3 OPLU は、勾配消失が主な課題となる長期間のシーケンスタスク（例：Adding problem）において、再帰的ネットワークの有効な学習を可能にするか？
• RQ4 T=100 の場合、短い長さでは成功しているにもかかわらず、OPLU が Adding problem において正しく学習できないのはなぜか？
• RQ5 OPLU は、Maxout などの既存アーキテクチャと理論的に関連づけることができるか？その同型性の性質は何か？

主な発見

• MNIST データセットにおいて、OPLU は最高テスト精度 99.16%、平均精度 99.06% を達成し、ReLU（最高 99.17%）および tanh（最高 99.16%）と同等の性能を示した。
• T=30 の Adding problem において、OPLU は最高成功率 99.34% を達成し、tanh（99.24%）を上回り、収束速度も速かった。
• T=50 および T=70 の場合、OPLU はそれぞれ最高成功率 99.21% および 99.43% を維持し、平均性能でも tanh を上回った。
• T=100 の場合、OPLU の最高成功率は 16.33% に低下し、勾配ノルムの安定性は保証されているものの、長期間シーケンスへの一般化に失敗した。
• 直交的重みを用いた場合、OPLU では逆伝播勾配のノルムが時間経過に伴い一定に保たれたが、ReLU では勾配が急速に減少し、tanh では不安定性が見られた。これにより、ノルム保存性が裏付けられた。
• OPLU の実装は計算的に効率的で、パラメータ学習を必要とせず、置換のみに依存するため、メモリ使用量も最小限に抑えられている。