[論文レビュー] Measuring and regularizing networks in function space

Ari S. Benjamin, David Rolnick+1 more|arXiv (Cornell University)|May 21, 2018

Machine Learning and Algorithms参考文献 30被引用数 17

ひとこと要約

本稿では、$L^2$距離を用いて関数空間においてニューラルネットワークの最適化を直接測定・正則化する手法を提案し、訓練中にパラメータ空間と関数空間の距離が乖離することを示している。Hilbert制約付き勾配降下法（HCGD）と$L^2$に基づくマルチタスク正則化を導入しており、これらは学習された関数への破壊的変化を最小化することで一般化性能を向上させる。HCGDは、並び替えられたMNISTのような順次的タスクにおいて、SGDを上回る性能を示した。

ABSTRACT

To optimize a neural network one often thinks of optimizing its parameters, but it is ultimately a matter of optimizing the function that maps inputs to outputs. Since a change in the parameters might serve as a poor proxy for the change in the function, it is of some concern that primacy is given to parameters but that the correspondence has not been tested. Here, we show that it is simple and computationally feasible to calculate distances between functions in a $L^2$ Hilbert space. We examine how typical networks behave in this space, and compare how parameter $\ell^2$ distances compare to function $L^2$ distances between various points of an optimization trajectory. We find that the two distances are nontrivially related. In particular, the $L^2/\ell^2$ ratio decreases throughout optimization, reaching a steady value around when test error plateaus. We then investigate how the $L^2$ distance could be applied directly to optimization. We first propose that in multitask learning, one can avoid catastrophic forgetting by directly limiting how much the input/output function changes between tasks. Secondly, we propose a new learning rule that constrains the distance a network can travel through $L^2$-space in any one update. This allows new examples to be learned in a way that minimally interferes with what has previously been learned. These applications demonstrate how one can measure and regularize function distances directly, without relying on parameters or local approximations like loss curvature.

研究の動機と目的

• ニューラルネットワーク最適化中のパrameter空間と関数空間の軌道の関係を調査すること。
• パrameterに依存しない入出力関数の変化を直接測定するためのメトリクスを構築すること。
• 関数空間における移動を制約することで学習を正則化する新しい最適化戦略を提案し、一般化性能の向上と深刻な忘却の緩和を図ること。
• 関数空間正則化が、マルチタスクおよび順次的学習の文脈で、従来のパrameterベースの正則化を上回ることを実証すること。

提案手法

• 関数間の距離を$L^2$ノルムで測定：$\|f - g\|^2 = \mathbb{E}_X[|f(x) - g(x)|^2]$、ミニバッチ推論を用いて近似する。
• SGD最適化軌道に沿って、$L^2$関数空間距離と$\ell^2$パrameter空間距離を実験的に比較する。
• 各最適化ステップにおける関数の$L^2$変化をペナルティ化するHilbert制約付き勾配降下法（HCGD）を提案する。
• 過去の入力を記憶したワーキングメモリを用いて、過去のタスクにおける関数変化を制限する$L^2$に基づくマルチタスク正則化を導入する。
• データバッチの経験的期待値を用いて$L^2$距離を推定し、関数の明示的表現なしに効率的な計算を可能にする。
• HCGDをAdam最適化法と組み合わせ（Adam+HC）し、並び替えられたMNISTのような順次的学習タスクでの性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 SGD最適化中、関数空間の軌道とパrameter空間の軌道はどのように異なるか？
• RQ2 パrameter間の$\ell^2$距離が、関数間の$L^2$距離を信頼できる代理指標としてどの程度有効か？
• RQ3 関数空間への移動を直接正則化することで、マルチタスク学習における一般化性能が向上するか？
• RQ4 HCGDによる関数空間移動の制約は、標準的なSGDと比較してテスト精度を向上させるか？
• RQ5 訓練中に$L^2/\ell^2$比はどのように変化するか？そして、最適化ダイナミクスの理解に何を示唆するか？

主な発見

• $L^2/\ell^2$比は訓練中に減少し、テスト誤差が安定化する頃に安定化する。これは、パrameter空間と関数空間の動きの間には非自明な関係があることを示している。
• Hilbert制約付き勾配降下法（HCGD）は、順次的MNISTタスクにおいて、標準的なSGDやAdamを上回るテスト精度を達成した。
• $L^2$に基づくマルチタスク正則化法は、過去のタスクの例を保存して再学習する手法よりも優れたデータ効率を達成した。
• HCGDをAdamと組み合わせた（Adam+HC）手法は、再発生タスクで最先端の性能を達成した。これは、制御された関数空間移動によって一般化性能が向上することを示唆している。
• 中程度のバッチサイズでも、$L^2$距離推定器は信頼性が高く、分散が小さく、良好な経験的近似品質を示した。
• HCGDは、自然勾配と概念的に類似しており、両者とも関数空間における変化を制約するが、使用する情報幾何的距離が異なる（Kullback-Leibler距離 vs. $L^2$距離）。