[論文レビュー] Gaussian Gated Linear Networks

David Budden, Adam Marblestone+4 more|arXiv (Cornell University)|Jun 10, 2020

Gaussian Processes and Bayesian Inference参考文献 44被引用数 6

ひとこと要約

本稿では、出力をガウス密度の重み付き積としてモデル化することにより、バックプロパゲーションフリーなGLNファミリーを回帰および密度推定に拡張したガウスゲーテッド線形ネットワーク（G-GLN）を提案する。各ニューロンに対して入力に依存するゲーティングを伴う局所的オンライン凸最適化を適用することで、G-GLNは回帰ベンチマークで最先端の性能を達成し、崩壊的忘却に対して頑健であり、オンラインコンテキストバンドイットおよび画像ノイズ除去においても優れた結果を示す。

ABSTRACT

We propose the Gaussian Gated Linear Network (G-GLN), an extension to the recently proposed GLN family of deep neural networks. Instead of using backpropagation to learn features, GLNs have a distributed and local credit assignment mechanism based on optimizing a convex objective. This gives rise to many desirable properties including universality, data-efficient online learning, trivial interpretability and robustness to catastrophic forgetting. We extend the GLN framework from classification to multiple regression and density modelling by generalizing geometric mixing to a product of Gaussian densities. The G-GLN achieves competitive or state-of-the-art performance on several univariate and multivariate regression benchmarks, and we demonstrate its applicability to practical tasks including online contextual bandits and density estimation via denoising.

研究の動機と目的

• ガウス分布を用いて、分類から回帰および密度モデリングへとGLNフレームワークを拡張する。
• オンラインおよび継続的学習におけるバックプロパゲーションの限界を克服し、局所的かつ分散型の信用配分を可能にする。
• データ効率的で、崩壊的忘却に頑健であり、区分線形構造によって解釈可能であるオンライン学習を実現する。
• バックプロパゲーションなしで、コンテキストバンドイットや画像ノイズ除去といった実用的タスクへの適用を示す。
• 凸最適化とガウス積の閉包性を活用して、一変量および多変量回帰ベンチマークで競争力のある性能を達成する。

提案手法

• 各ニューロンを、入力に依存するコンテキスト関数によってゲーティングされるガウス密度の重み付き積としてモデル化する。
• 指数型分布族の閉包性を活用：ガウス分布の積は再びガウス分布であるため、正確なパラメータ更新が可能となる。
• 凸対数損失に対するオンライン勾配降下法を用いてニューロンパラメータを最適化し、収束性と安定性を保証する。
• 入力ごとに有効な重みを選択するために、加法的バイアスを伴う分布からサンプリングされたコンテキスト関数を適用し、非線形関数近似を可能にする。
• 複数のG-GLNニューロンをスイッチング集約により組み合わせることで最終出力分布を構成し、表現力の向上を図る。
• 訓練中に射影を用いて重みおよび分散に制約を課し、数値安定性と正の値の維持を確保する。

実験結果

リサーチクエスチョン

• RQ1 GLNフレームワークは、ガウス分布を用いて実数値および多変量データをモデル化可能か？
• RQ2 G-GLNにおける局所的オンライン凸最適化は、回帰および密度推定タスクにおいて性能と安定性を維持できるか？
• RQ3 コンテキストバンドイットのようなオンライン学習設定において、G-GLNは標準的な深層ネットワークと比較してどの程度の性能を示すか？
• RQ4 バックプロパゲーションなしで、G-GLNは密度推定およびノイズ除去において競争力のある結果を達成できるか？
• RQ5 ゲーティング機構と凸最適化の影響は、崩壊的忘却に対する頑健性およびモデルの解釈可能性にどのような影響を与えるか？

主な発見

• G-GLNは、SARCOSやUCIデータセットを含む、一変量および多変量回帰ベンチマークで競争的または最先端の性能を達成した。
• SARCOSデータセットでは、テスト平均二乗誤差が0.0022に達し、同じ設定下でのベースライン手法を上回った。
• コンテキストバンドイット実験では、バックプロパゲーションなしで標準的な深層ネットワークと同等またはそれ以上の性能を示し、優れたオンライン学習能力を実証した。
• MNISTにおける画像ノイズ除去では、テストログリクアリティが-1.25ビット/次元に達し、ReLU活性化関数を用いた標準MLPと同等の性能を示した。
• モデルは崩壊的忘却に対して頑健であり、微調整なしに順次タスクを実行しても性能を維持した。
• 凸最適化と局所的学習のおかげで、区分線形構造による自明な解釈可能性と安定した収束が実現された。