[論文レビュー] Memory-based Parameter Adaptation

Pablo Sprechmann, Siddhant M. Jayakumar+8 more|arXiv (Cornell University)|Feb 28, 2018

Anomaly Detection Techniques and Applications被引用数 26

ひとこと要約

メモリベースのパrameter適応（MbPA）は、メモリモジュールに入力-出力ペアを格納し、文脈に基づく検索を用いて推論時に局所的にネットワーク重みを適応させることで、深層ニューラルネットワークを向上させる。これにより、新しいデータ—特にレアなまたは分布外の例—への高速で安定した適応が可能となり、継続的学習および言語モデリングにおいて顕著な性能向上を達成する。特に、ニューラルキャッシュと組み合わせた場合、WikiText-2で困惑度が15.9ポイント低下した。

ABSTRACT

Deep neural networks have excelled on a wide range of problems, from vision to language and game playing. Neural networks very gradually incorporate information into weights as they process data, requiring very low learning rates. If the training distribution shifts, the network is slow to adapt, and when it does adapt, it typically performs badly on the training distribution before the shift. Our method, Memory-based Parameter Adaptation, stores examples in memory and then uses a context-based lookup to directly modify the weights of a neural network. Much higher learning rates can be used for this local adaptation, reneging the need for many iterations over similar data before good predictions can be made. As our method is memory-based, it alleviates several shortcomings of neural networks, such as catastrophic forgetting, fast, stable acquisition of new knowledge, learning with an imbalanced class labels, and fast learning during evaluation. We demonstrate this on a range of supervised tasks: large-scale image classification and language modelling.

研究の動機と目的

• 継続的または段階的学習における catastrophic forgetting（深刻な忘却）と遅い適応の問題に対処すること。
• 再トレーニングなしに、少数またはレアな例からの新しい知識の迅速な習得を可能にすること。
• 特に未知語やレア語を含む言語モデリングにおけるデータ分布のシフトに対して、性能を向上させること。
• パrametricモデルの一般化能力と、非パラメトリックメモリの高速で局所的な適応能力を統合すること。
• 注意メカニズムに類似した検索とベイズ的解釈を用いた、原理的で正則化された文脈依存パrameter適応手法を提供すること。

提案手法

• モデルは一般化に用いるパラメトリックなニューラルネットワーク（パラメータθを有する）と、過去の入力から得たキーバリューペア（h_i, v_i）を格納する非パラメトリックなメモリモジュール（M）を用いる。
• キーh_iは、入力x_jを学習済みの埋め込みネットワークf_γを介して得られる埋め込みであり、バリューブv_iは対応するターゲットy_j（例えば、分類ラベルや回帰ターゲット）である。
• 推論時、現在の入力埋め込みと格納済みキーとの間のユークリッド距離を用いて、メモリ内のK個の近隣を検索する。
• 取得された文脈を用いて、出力ネットワークのパラメータ（θ）に対する局所的かつ文脈依存の更新を計算し、予測の前に適用する。
• 適応は一時的である：推論後に更新は破棄され、長期的な一般化を保ち、過学習を回避する。
• この手法はベイズ的解釈に基づいており、不確実性を考慮したメモリ検索を通じて、原理的で正則化された適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張パラメータ適応は、深刻な忘却を引き起こさずに、新しいクラスの高速で安定した学習を可能にするか？
• RQ2 MbPAは、特に未知語やレア語を含む言語モデリングにおいて、データ分布のシフトに対してどのように性能を向上させるか？
• RQ3 MbPAは、継続的学習設定において、Elastic Weight Consolidation（EWC） やニューラルキャッシュといった既存手法を上回るか、あるいは補完するか？
• RQ4 非パラメトリックメモリの使用が、不均衡なクラス分布への効果的適応を可能にするか？
• RQ5 MbPAは、低データ量または少サンプル状況における一般化と性能向上をどの程度実現できるか？

主な発見

• Penn Treebankデータセットでは、MbPAがLSTMベースラインを5.3 perplexityポイント改善し、ニューラルキャッシュ単体の4.3ポイント改善を上回った。
• WikiText-2では、MbPAがLSTMベースラインに対して9.9ポイントの困惑度低下を達成し、ニューラルキャッシュと組み合わせた場合に16.5ポイントの改善を達成した。
• MbPAとニューラルキャッシュの組み合わせは、WikiText-2でテスト困惑度を15.9ポイント低下させ、ベースラインおよび先行の最先端モデルを著しく上回った。
• MbPAは、言語モデリングにおけるレア語において特に顕著な向上を示したことが、図8の単語ごとの分析で確認された。
• 画像分類タスクでは、MbPAがImageNetで以前に見られなかったクラスへの迅速な適応を可能にし、少サンプルおよび長尾学習の状況でも有効性を示した。
• この手法は深刻な忘却を効果的に緩和し、一部のクラスがトレーニング中に過小に表現される不均衡データにおいても性能を向上させた。