[論文レビュー] Learning to Learn Neural Networks

Tom Bosc|arXiv (Cornell University)|Oct 19, 2016

Neural Networks and Applications参考文献 2被引用数 6

ひとこと要約

この論文では、長短期記憶（LSTM）ネットワークがオンラインで逐次的にニューラルネットワークのパラメータを更新するメタラーニングフレームワークを提案する。モデルの重みをLSTMのセル状態に格納し、誤差逆伝播を用いてテスト損失を最小化するようにLSTMを訓練することで、非線形分離不可能なデータ上で、手作業で設計されたベースラインを上回る効果的で一般化可能な学習アルゴリズムを学習する。

ABSTRACT

Meta-learning consists in learning learning algorithms. We use a Long Short Term Memory (LSTM) based network to learn to compute on-line updates of the parameters of another neural network. These parameters are stored in the cell state of the LSTM. Our framework allows to compare learned algorithms to hand-made algorithms within the traditional train and test methodology. In an experiment, we learn a learning algorithm for a one-hidden layer Multi-Layer Perceptron (MLP) on non-linearly separable datasets. The learned algorithm is able to update parameters of both layers and generalise well on similar datasets.

研究の動機と目的

• 再帰的ネットワークを用いて、微分可能でエンドツーエンドのフレームワークとしてオンライン学習アルゴリズムを学習する。
• 統一された学習・テストの枠組み内で、学習されたアルゴリズムと手作業で設計されたアルゴリズムを直接比較可能にする。
• テストセットのパフォーマンスを最適化することで、多様なデータセットに一般化するメタラーナーを訓練する。
• ニューラルネットワークが、別のニューラルネットワークのための効果的なパrameter更新ルールを自律的に学習できるかを調査する。

提案手法

• 長短期記憶（LSTM）ネットワークが、その隠れ状態にターゲットニューラルネットワークのパラメータを格納・更新し、モデル重みをLSTMの内部状態として扱う。
• LSTMのラーナー部は、入力、ターゲット、予測値、および訓練フェーズとテストフェーズを区別するための分離フラグ 1_{t<τ} を用いてパラメータ更新を計算する。
• モデルの出力 o_t は f_θ_t(x_t) として計算され、ここで θ_t はLSTMの隠れ状態に格納された現在のパラメータ推定値である。
• メタラーニングは、訓練データセットのテストセットにおける平均損失を最小化することで、ラーナーのパラメータ α および初期状態 θ_1 を最適化する。最適化の安定性を確保するため、別個の訓練目的（式4）を用いる。
• このフレームワークにより、モデルとラーナーの両方に対して誤差逆伝播が可能となり、メタラーナーのエンドツーエンド訓練が可能になる。
• 分離フラグ 1_{t<τ} により、テストフェーズにおけるゼロのターゲットが実際のターゲット値として誤って解釈されるのを防ぐ。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークは、オンラインで逐次的な設定において、別のニューラルネットワークのパラメータを更新する能力を学習できるか？
• RQ2 非線形分離不可能なデータにおいて、学習された学習アルゴリズムはSGD やロジスティック回帰などの手作業で設計されたアルゴリズムと比べて、一般化性能に優れているか？
• RQ3 メタラーナーはパラメータのサブセットにのみ注目して更新を行うことができるか？また、これにより学習効率やパフォーマンスが向上するか？
• RQ4 このフレームワークは、学習データと類似構造を持つ未観測データセットに対しても一般化を可能にするか？

主な発見

• 学習されたアルゴリズムは、テストセットで平均交差エントロピー損失 0.540 を達成し、ロジスティック回帰（0.574）、SVM（線形）（0.573）、SVM（RBF）（0.507）を大きく下回り、非線形データにおける強力な一般化性能を示した。
• モデルは入力層から隠れ層、および隠れ層から出力層への両方の層のパラメータを効果的に更新でき、浅いネットワークを超える能力を示した。
• 重み行列の分析から、一部のパラメータが時間経過とともにほとんど変化しなかったことが判明し、メタラーナーが重みのサブセットにのみ注目して更新を行っていることが示唆された。
• テストセットの損失は訓練中に徐々に減少し、すべての訓練サンプルが処理された後で安定化した。これは、効果的な学習と収束を示している。
• このフレームワークにより、メタラーナーはテストセット専用の目的関数（式3）を用いることで、訓練ターゲットへの過学習を回避できた。これにより、ターゲットのコピーを防ぐことができた。
• 複雑なモデルに対しても一般化が可能であることが実証された。ノイズが多く、非線形的に分離不可能なデータを用いた2層のMLP（隠れ層4ユニット、出力1ユニット）に対しても、パラメータ更新ルールを学習することができた。