[論文レビュー] Evolino for recurrent support vector machines

Jürgen Schmidhuber, Matteo Gagliolo+2 more|ArXiv.org|Dec 15, 2005

Neural Networks and Reservoir Computing参考文献 32被引用数 22

ひとこと要約

本稿では、再帰的ニューラルネットワーク（RNN）とサポートベクターマシン（SVM）を組み合わせることで、真正に逐次的でカーネル適応型のモデルを構築できる、新しい進化型アルゴリズムEvokeを紹介する。LSTMに基づくRNNを入力の前処理に進化させ、二次計画法を用いたSVMによる最適出力予測を行うことで、文脈に依存する言語や複数の重ね合わせられた正弦波を含むタスクにおいて、勾配ベースのRNN（G-LSTM）やESNよりも優れた性能を発揮する。

ABSTRACT

Traditional Support Vector Machines (SVMs) need pre-wired finite time windows to predict and classify time series. They do not have an internal state necessary to deal with sequences involving arbitrary long-term dependencies. Here we introduce a new class of recurrent, truly sequential SVM-like devices with internal adaptive states, trained by a novel method called EVOlution of systems with KErnel-based outputs (Evoke), an instance of the recent Evolino class of methods. Evoke evolves recurrent neural networks to detect and represent temporal dependencies while using quadratic programming/support vector regression to produce precise outputs. Evoke is the first SVM-based mechanism learning to classify a context-sensitive language. It also outperforms recent state-of-the-art gradient-based recurrent neural networks (RNNs) on various time series prediction tasks.

研究の動機と目的

• 従来のSVMが任意の長期依存関係を持つ系列データを処理するという根本的な制限を克服すること。
• 文脈に依存する系列タスクのための内部状態表現を学習可能な再帰的SVMに類似したモデルを開発すること。
• 勾配ベースのRNNやESNが失敗または性能を発揮できない複雑な時系列予測タスクにおける汎化性能と性能を向上させること。
• 神経進化と解析的SVM最適化を組み合わせたハイブリッドモデルの学習に、進化計算を応用することの可能性を探ること。
• カーネルベースの出力層が、標準SVMでは解けない問題（例：$a^n b^n c^n$言語認識タスク）をSVMが解けるようにする可能性を示すこと。

提案手法

• Evokeは二段階のアーキテクチャを採用する：特定のLSTMを用いた進化型再帰的ニューラルネットワーク（RNN）が逐次入力を処理し、隠れ表現を生成する。
• RNNの隠れ状態は、最大マージン基準に基づき二次計画法を用いて最適出力重みを計算するサポートベクターマシン（SVM）に供給される。
• RNNは、SVM出力の訓練誤差と検証誤差の組み合わせに基づくフィットネスを用いて、ESP（人口を伴う進化戦略）アルゴリズムで進化する。
• SVM部では、固定されたハイパーパrameter（標準偏差2.0、容量100.0または10.0、タスクに応じて変更）を用いたガウスカーネルを用い、入力系列を高次元空間にマップして非線形な決定境界を実現する。
• 50世代にわたって進化が行われ、コーシー分布を用いた突然変異とバースト変異が適用され、過学習を防ぐために訓練誤差と検証誤差の両方を組み合わせたフィットネス関数が使用される。
• 本手法は、神経進化と解析的線形出力モデルを組み合わせる一般的なEvolinoフレームワークの特殊なインスタンスであり、ここでは擬似逆行列回帰の代わりにSVMが採用されている。

実験結果

リサーチクエスチョン

• RQ1 再帰的SVMに類似したモデルは、系列データにおける任意の長期依存関係を捕捉する内部表現を学習できるか？
• RQ2 進化型RNNとSVMを統合することで、文脈に依存する文法を含むタスクにおいて、勾配ベースのRNN（G-LSTM）を凌駆できるか？
• RQ3 複数の重ね合わせられた正弦波を含む時系列（例：$\sin(0.2x) + \sin(0.311x)$）において、EvokeはESNが失敗するタスクを正しく学習・一般化できるか？
• RQ4 二次計画法を用いたSVMベースの出力層は、擬似逆行列ベースの手法と比較して、系列学習においてより優れた汎化性能を示すか？
• RQ5 カーネル適応型モデルのフィットネスランドスケープは、単純な回帰ベースのモデルと比較して、進化探索の効率にどのように影響を与えるか？

主な発見

• Evokeは、$n=10$および$n=20$の$a^n b^n c^n$言語を正しく分類でき、学習セットを超えて一般化することができた。これは、標準SVMでは不可能なタスクであった。
• $a^n b^n c^n$タスクにおいて、EvokeはG-LSTMよりも優れた一般化性能を示したが、$n$が大きくなると性能が低下し、PI-EvolinoとG-LSTMがEvokeを上回った。
• 二重の重ね合わせ正弦波タスク（$\sin(0.2x) + \sin(0.311x)$）において、Evokeは300点の平均テスト誤差0.021を達成し、ESNを上回り、G-LSTMよりも速い収束を示した。
• 成功を収めたものの、Evokeの性能は擬似逆行列ベースのEvolino（PI-Evolino）に劣っており、同じ正弦波タスクでテスト誤差0.003を達成した。これは、カーネルマッピングによるより険しいフィットネスランドスケープが原因であると考えられる。
• Evokeは、$a^n b^n c^n$文法のような、関連する出来事が発生するまでの時間遅延が長いタスクにおいても、良好な一般化性能を示しており、複雑な時間的依存関係を学習できる能力を証明している。
• Evokeは、3GHzのデスクトップPC上で平均して1回のシミュレーションあたり約6分で実行可能であり、ハイブリッドモデルの進化型学習において妥当な計算効率を有している。