[論文レビュー] Framing RNN as a kernel method: A neural ODE approach

Adeline Fermanian, Pierre Marion+2 more|arXiv (Cornell University)|Jun 2, 2021

Model Reduction and Neural Networks参考文献 80被引用数 7

ひとこと要約

この論文は、入力系列のシグネチャ特徴空間上の線形予測子に対応するRNNの解が得られることを示す、再帰的ニューラルネットワーク（RNN）をニューラル常微分方程式（ODE）の観点から解釈することで、核法に再定式化する。弱い条件下でも、この枠組みにより、フィードフォワードRNN、GRU、LSTMアーキテクチャを含む広範なRNNクラスに対して一般化および安定性の保証が可能になる。これは再生核ヒルバート空間（RKHS）フレームワークを用いる。

ABSTRACT

Building on the interpretation of a recurrent neural network (RNN) as a continuous-time neural differential equation, we show, under appropriate conditions, that the solution of a RNN can be viewed as a linear function of a specific feature set of the input sequence, known as the signature. This connection allows us to frame a RNN as a kernel method in a suitable reproducing kernel Hilbert space. As a consequence, we obtain theoretical guarantees on generalization and stability for a large class of recurrent networks. Our results are illustrated on simulated datasets.

研究の動機と目的

• 連続時間のニューラルODEの定式化を用いて、RNNと核法との間の理論的接続を確立すること。
• RNNが入力系列のシグネチャ変換によって定義される再生核ヒルバート空間（RKHS）における線形予測子として解釈できることを示すこと。
• フィードフォワードRNN、GRU、LSTMなどの多様なRNNアーキテクチャに対して、統一された枠組みのもとで一般化および安定性の保証を導出すること。
• 既存のアーキテクチャに依存する境界とは異なり、理論的根拠に基づいた、アーキテクチャに依存しないRNNの分析アプローチを提供すること。
• 合成系列データを用いた実験を通じて、このフレームワークの実用的妥当性を示すこと。

提案手法

• RNNを連続時間のニューラルODEとしてモデル化し、隠れ状態の変化を入力系列によって駆動されるODEの解として解釈する。
• 入力系列のシグネチャ変換をテンソル空間への特徴マップとして用い、自然にRKHS構造を備える。
• RNNの出力がこのRKHSにおける線形汎関数に対応することを確立し、核法の解釈を可能にする。
• RKHSノルムを用いて一般化境界を導出し、安定性を向上させるために正則化を適用する。
• PyTorchとSignatoryを用いてフレームワークを実装し、シグネチャ計算にはそれらを活用。数値的ODE解法にはSciPyを用いる。
• 実験でロバストネスを評価するために、投影勾配降下法を用いて adversarial 例を生成する。

実験結果

リサーチクエスチョン

• RQ1 RNNは連続時間のODE解釈を通じて、正式に核法として再定式化可能か？
• RQ2 入力系列のシグネチャ変換は、RNNの核ベース解析を可能にする普遍的特徴マップとして機能するか？
• RQ3 フィードフォワードRNN、GRU、LSTMを含む広範なRNNクラスに対して、統一された理論的枠組みのもとで一般化および安定性の境界を導出可能か？
• RQ4 シグネチャ変換によって誘導されるRKHSにおける正則化は、RNNの一般化およびロバストネスにどのように影響するか？
• RQ5 特に長期依存性学習において、核解釈は実際の場面でもどの程度有効に機能するか？

主な発見

• RNNがニューラルODEの解として解釈される場合、入力系列のシグネチャに基づく再生核ヒルバート空間（RKHS）における線形予測子として表現可能である。
• RNNの一般化境界はRKHSノルムを用いて導出され、特定のアーキテクチャの詳細とは独立した理論的保証を提供する。
• RKHSにおける正則化により安定性が向上し、実験では正則化された核形式を用いることで、adversarial 例に対するロバストネスが向上していることが示された。
• このフレームワークは、フィードフォワードRNN、GRU、LSTMアーキテクチャに一様に適用可能であり、それらの理論的分析を統一する。
• 合成スパイラル系列データを用いた実験により、核解釈が成立していることが確認され、正則化がテスト精度およびロバストネスを向上させている。
• この手法により、ODE解のテイラー展開近似に不可欠な高階微分の効率的計算が、手動による前向きモードの自動微分によって可能になっている。