[論文レビュー] Deriving Neural Architectures from Sequence and Graph Kernels

Tao Leí, Wengong Jin+2 more|arXiv (Cornell University)|May 25, 2017

Topic Modeling参考文献 39被引用数 22

ひとこと要約

本稿では、系列およびグラフカーネルから導出された深層再帰ニューラルアーキテクチャであるカーネルニューラルネットワークを提案する。学習可能な仮想基準対象がカーネル計算を介して入力と比較される。本手法はエンドツーエンド学習により、言語モデリングおよび分子グラフ回帰で最先端の性能を達成し、スタンフォードセンチメントツリーバンクでは53.2%の精度、ハーバードクリーンエネルギー・プロジェクトデータセットでは0.1043のRMSEを達成した。

ABSTRACT

The design of neural architectures for structured objects is typically guided by experimental insights rather than a formal process. In this work, we appeal to kernels over combinatorial structures, such as sequences and graphs, to derive appropriate neural operations. We introduce a class of deep recurrent neural operations and formally characterize their associated kernel spaces. Our recurrent modules compare the input to virtual reference objects (cf. filters in CNN) via the kernels. Similar to traditional neural operations, these reference objects are parameterized and directly optimized in end-to-end training. We empirically evaluate the proposed class of neural architectures on standard applications such as language modeling and molecular graph regression, achieving state-of-the-art results across these applications.

研究の動機と目的

• 系列やグラフのような構造的データのための、形式的でカーネルに基づくニューラルアーキテクチャ設計手法を形式化すること。
• 組合せ的カーネル計算からニューラル演算を導出することで、カーネルに基づく関数空間とディープラーニングの間のギャップを埋めること。
• カーネル理論に根ざしたエンドツーエンドで学習可能なニューラルモデルを可能にし、構造的予測タスクでの性能を向上させること。
• カーネルから導出されたニューラル演算を用いて、言語モデリングおよび分子グラフ回帰タスクで最先端の結果を示すこと。

提案手法

• n-gramやワイズファイラー＝レーマンカーネルなどの文字列およびグラフカーネルから、仮想基準対象を学習可能なパラメータとして扱うことにより、ニューラル演算を導出する。
• 各層は、カーネル関数を用いて入力系列またはグラフとパラメータ化された基準対象との類似度を計算する。例えば、$ \mathcal{K}_2(\mathbf{x},\mathbf{y}) = \sum_{i<j} \lambda^{L-i-1} \delta(\mathbf{x}_i,\mathbf{y}_k) \delta(\mathbf{x}_j,\mathbf{y}_l) $ という減衰因子を伴う。
• 再帰的反復を用いてカーネルに基づく比較を伝搬し、隠れ状態を基準対象のカーネル重み付き集約によって更新する。
• 過学習を防ぐためにドロップアウトと学習率の減少を伴うAdam最適化子を用いてエンドツーエンドでモデルを学習する。
• グラフに対しては、4回の反復と$ n=2 $を用い、原子および結合の特徴量を入力としてワイズファイラー＝レーマンカーネルを適用する。
• 部分構造類似度の重み付けを適応的に行えるように、減衰因子$ \lambda $のゲート付きバージョンを導入する。

実験結果

リサーチクエスチョン

• RQ1 カーネルに基づく関数空間は、系列やグラフのような構造的データのための深層ニューラルアーキテクチャ設計の形式的基盤として機能できるか？
• RQ2 カーネル計算を、系列およびグラフのための微分可能でエンドツーエンドで学習可能なニューラルモジュールに統合する方法は何か？
• RQ3 カーネルから導出されたニューラル演算は、既存のアーキテクチャを上回る性能を示せるか？
• RQ4 学習可能なカーネルパラメータ、たとえば減衰因子$ \lambda $の影響は、モデル性能にどのように現れるか？

主な発見

• 提案されたカーネルニューラルネットワークは、スタンフォードセンチメントツリーバンクの微分類タスクで53.2%のテスト精度を達成し、DMN や RLSTM といった先行手法を上回った。
• バイナリセンチメント分類タスクでは、89.9%の精度を達成し、最高のベースラインである88.6%を上回った。
• ハーバードクリーンエネルギー・プロジェクトデータセットにおける分子グラフ回帰では、RMSEが0.1043に達し、同じ設定下で前回の最良結果0.1058を上回った。
• 減衰因子$ \lambda $のゲート付きバージョンは、言語モデリングおよびグラフ回帰の両タスクで一貫した性能向上をもたらした。
• 定数$ \lambda $を用いたモデルですら、複数の強力なベースラインを上回った。これは、カーネルに基づく設計の堅牢性を示している。
• 本手法は、カーネル理論とディープラーニングを効果的に統合し、構造的オブジェクトのための形式的で原理的アプローチによるアーキテクチャ設計を可能にした。