[論文レビュー] The Recurrent Neural Tangent Kernel

Sina Alemohammad, Zichao Wang+2 more|arXiv (Cornell University)|Jun 18, 2020

Neural Networks and Applications参考文献 39被引用数 6

ひとこと要約

本論文は、無限幅極限における過パラメータ化された再帰的ニューラルネットワーク（RNN）の学習ダイナミクスと一般化を特徴付ける、カーネルベースのフレームワーク、再帰的ニューラルタングェントカーネル（RNTK）を導入する。RNTKが学習中に一定の形を保つこと、適切な初期化により長期依存性の学習が効果的に行えること、および分類および回帰タスクにおける56の実世界の時系列データセットにおいて、標準的なNTKや有限RNNを上回ることを示している。

ABSTRACT

The study of deep neural networks (DNNs) in the infinite-width limit, via the so-called neural tangent kernel (NTK) approach, has provided new insights into the dynamics of learning, generalization, and the impact of initialization. One key DNN architecture remains to be kernelized, namely, the recurrent neural network (RNN). In this paper we introduce and study the Recurrent Neural Tangent Kernel (RNTK), which provides new insights into the behavior of overparametrized RNNs. A key property of the RNTK should greatly benefit practitioners is its ability to compare inputs of different length. To this end, we characterize how the RNTK weights different time steps to form its output under different initialization parameters and nonlinearity choices. A synthetic and 56 real-world data experiments demonstrate that the RNTK offers significant performance gains over other kernels, including standard NTKs, across a wide array of data sets.

研究の動機と目的

• 従来カーネル化がなされていなかった再帰的ニューラルネットワーク（RNN）に、ニューラルタングェントカーネル（NTK）フレームワークを拡張すること。
• 新しい解析的カーネル、RNTKを用いて、無限幅極限における過パラメータ化されたRNNの挙動を分析すること。
• RNNの既知の勾配消失問題にもかかわらず、RNTKが時系列データにおける長期依存性を効果的に捉えられることを検証すること。
• 多様な時系列データセット上で、RNTKの一般化性能を古典的カーネル、NTK、および有限DNNと比較して評価すること。
• 時系列特徴量の時間的重み付けに関するRNTK分析に基づき、RNNのハイパーパrameter選定に関する実用的指針を提供すること。

提案手法

• 任意の深さとシーケンス長を持つRNNに対して、ReLUおよび誤差関数（erf）非線形性のRNTKの解析的表現を導出する。
• RNTKが勾配フロー学習中に一定のまま保たれることを証明し、過パラメータ化されたRNNの学習ダイナミクスを線形ODE系に簡略化できることを示す。
• 重み共有と非共有のRNNが無限幅極限で同じRNTKに収束することを確立し、カーネルの同値性を保持することを示す。
• 異なる初期化パラメータと非線形性がRNTKにおける時間的相関の重み付けに与える影響を分析し、長期依存性抽出のメカニズムを解明する。
• RNTKをカーネル分類および回帰に応用し、SVMにRNTK特徴量を用いて、古典的カーネルおよび有限DNNと性能をベンチマークする。
• 合成および実世界の時系列データ（56のデータセット）を用いて、さまざまなシーケンス長とタスクにおいてRNTKのパフォーマンスを検証する。

実験結果

リサーチクエスチョン

• RQ1 標準的なRNNにおける勾配消失問題にもかかわらず、RNTKは2つの入力シーケンス間の長期依存性を抽出できるか？
• RQ2 RNNにおける重み共有は、非共有重みと比較して、その結果得られるRNTKの表現力に低下をもたらすか？
• RQ3 RNTKは、古典的カーネル、NTK、および有限RNNと比較して、時系列分類および回帰タスクでどのように一般化するか？
• RQ4 異なる初期化パラメータと非線形性は、RNTKにおける入力特徴量の時間的重み付けにどのように影響するか？
• RQ5 入力シーケンスの長さが著しく異なる場合でも、RNTKは時系列学習の実用的カーネルとして使用可能か？

主な発見

• RNTKは学習中に一定のままであり、過パラメータ化されたRNNにおける勾配フローのダイナミクスを線形ODE系として記述可能である。
• 適切なハイパーパrameterで初期化された場合、RNTKは勾配消失の制限を克服し、時系列データにおける長期依存性を効果的に捉えることができる。
• 重み共有と非共有重みのRNNは、無限幅極限で同じRNTKに収束するため、重み共有による表現力の損失はない。
• 分類および回帰タスクの両方において、56の実世界の時系列データセットにおいて、RNTKは古典的カーネル、標準NTK、および有限RNNを上回るパフォーマンスを示す。
• 入力シーケンス長の差が大きくなるほどRNTKの性能向上が顕著になることから、変動する長さの入力に対して強いロバストネスを示す。
• RNTKはハイパーパrameter選定に関する実用的洞察を提供し、特定の初期化選択が学習関数における時間ステップの重み付けを制御することを示している。