[論文レビュー] Streaming Normalization: Towards Simpler and More Biologically-plausible Normalizations for Online and Recurrent Learning

Qianli Liao, Kenji Kawaguchi+1 more|arXiv (Cornell University)|Oct 19, 2016

Neural Networks and Applications参考文献 13被引用数 23

ひとこと要約

この論文では、すべての訓練サンプルおよびタイムステップにわたる活性化統計のオンライン推定を維持することで、オンライン学習、再帰的学習、混合学習のシナリオにおいても効果的に利用可能な生物学的に妥当な正規化手法、Streaming Normalizationを提案する。異なるアーキテクチャやタスクにおいて、バッチ正規化、レイヤー正規化、時刻別バッチ正規化を凌駆する。L1正規化は同等の性能を示し、計算的・生物学的妥当性がより高い。

ABSTRACT

We systematically explored a spectrum of normalization algorithms related to Batch Normalization (BN) and propose a generalized formulation that simultaneously solves two major limitations of BN: (1) online learning and (2) recurrent learning. Our proposal is simpler and more biologically-plausible. Unlike previous approaches, our technique can be applied out of the box to all learning scenarios (e.g., online learning, batch learning, fully-connected, convolutional, feedforward, recurrent and mixed --- recurrent and convolutional) and compare favorably with existing approaches. We also propose Lp Normalization for normalizing by different orders of statistical moments. In particular, L1 normalization is well-performing, simple to implement, fast to compute, more biologically-plausible and thus ideal for GPU or hardware implementations.

研究の動機と目的

• オンラインおよび再帰的学習設定におけるバッチ正規化の限界を解消すること。
• 順方向、畳み込み、全結合、再帰的、ハイブリッドネットワークに適用可能な統一された正規化フレームワークの開発。
• ニューロンごとに局所的でオンラインの統計追跡を可能にすることで、生物学的妥当性を向上させること。
• Lp正規化を、L2ベースの正規化の単純化・高速化・生物学的妥当性の高い代替手段として探求すること。
• ストリーミング統計が、さまざまな学習シナリオにおいて、時刻別またはバッチベースの正規化を上回ることを実証すること。

提案手法

• バッチ正規化およびレイヤー正規化の一般化として、すべての観測済みサンプルにわたる活性化統計（平均および分散）のオンラインで更新される推定値を用いるStreaming Normalizationを提案。
• 活性化をp次の絶対モーメントのp乗根で正規化するLp正規化を導入。特にL1正規化は単純かつ効率的である。
• 勾配を複数のミニバッチにわたり蓄積してから重み更新を行う、分離蓄積と更新スキーム（DAU）を採用。これにより、学習の安定性が向上する。
• 畳み込みネットワークや再帰的ネットワークを含め、すべてのレイヤーおよびネットワークタイプに同一の正規化手順を適用。タスク固有の調整を必要としない。
• サンプルベースおよびバッチベースの統計に基づく正規化を統一する一般化された定式化を採用。これにより、バッチ正規化、レイヤー正規化、Streaming Normalizationが一つのフレームワークに統合される。
• 移動平均を用い、適応係数（例：α₁=β₁=0.7）を用いて、学習中にリアルタイムで正規化統計を更新。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャ的・タスク固有の修正なしに、単一の正規化手法がオンライン学習、再帰的学習、バッチ学習を効果的にサポートできるか。
• RQ2 再帰的言語モデリングタスクにおいて、ストリーミング正規化は時刻別バッチ正規化およびレイヤー正規化と比べてどのように差を示すか。
• RQ3 L1正規化はL2正規化と同等の性能を達成しつつ、より単純かつ生物学的に妥当な代替手段として実現可能か。
• RQ4 すべてのタイムステップにわたって一貫した正規化統計を維持することで、時刻別統計と比較して再帰的ネットワークの一般化性能が向上するか。
• RQ5 ストリーミング正規化は、再帰的ネットワークにおける内部分布シフトの影響をどの程度軽減できるか。

主な発見

• Shakespeareの作品における文字レベル言語モデリングにおいて、ストリーミング正規化はレイヤー正規化および時刻別バッチ正規化よりも収束が早く、検証損失も低くなる。
• L1正規化は、すべてのテストシナリオでL2正規化とほぼ同等の性能を示し、ハードウェアおよび生物学的実装において単純かつ効率的な代替手段を提供する。
• ストリーミング正規化は、順方向および再帰的設定の両方で最先端の性能を達成しており、畳み込み部と再帰的部を併せ持つハイブリッドアーキテクチャにも適用可能。
• この手法は、小さなミニバッチサイズに対しても頑健であり、バッチ正規化や時刻別バッチ正規化とは異なり、純粋なオンライン学習をサポートする。
• ニューロン単位のストリーミング正規化は、競争力のある性能を示し、シナプススケーリングの生物学的に妥当なメカニズムをサポートする。
• 結果から、ストリーミング統計を用いて時間的に活性化を正規化することで、内部分布シフトの影響が従来の認識よりも深刻ではない可能性が示唆される。