[論文レビュー] Persistent Contextual Neural Networks for learning symbolic data sequences.

Yann Ollivier|arXiv (Cornell University)|Jun 3, 2013

Neural Networks and Applications被引用数 1

ひとこと要約

本稿では、有限オートマトンとリーマン的勾配上昇に基づく、記号列における複雑なアルゴリズム的依存関係を学習することを目的とした確率的系列モデルである持続的文脈ニューラルネットワーク（PCNN）を提案する。PCNNは、バックプロパゲーション・スル・タイムに近い効率を維持しながら、サンプル数とステップ数の要件を低減するメトリックに基づく学習手順を採用することで、distant-XOR や文脈自由文法に類似したネスト構造といった困難なタスクで最先端の手法を上回る性能を発揮する。

ABSTRACT

We introduce persistent contextual neural networks (PCNNs) as a probabilistic model for learning symbolic data sequences, aimed at discovering complex algorithmic dependencies in the sequence. PCNNs are similar to recurrent neural networks but feature an architecture inspired by finite automata and a modified time evolution to better model memory effects. An effective training procedure using a gradient ascent in a metric inspired by Riemannian geometry is developed: this produces an algorithm independent from design choices such as the encoding of parameters and unit activities. This metric gradient ascent is designed to have an algorithmic cost close to backpropagation through time for sparsely connected networks. PCNNs are demonstrated to effectively capture a variety of complex algorithmic constraints on hard synthetic problems: basic block nesting as in context-free grammars (an important feature of natural languages, but difficult to learn), intersections of multiple independent Markovtype relations, or long-distance relationships such as the distant-XOR problem. On this problem, PCNNs perform better than more complex state-of-the-art algorithms. Thanks to the metric update, fewer gradient steps and training samples are needed: for instance, a generating model for sequences of the form

研究の動機と目的

• 記号列における長距離依存関係やネスト構造などの複雑なアルゴリズム的依存関係をモデル化できるニューラルネットワークアーキテクチャの開発。
• 特に合成的だが困難な問題において、標準的なRNNが文脈に敏感で階層的な関係を捉えきれないという限界の解消。
• パラメータおよびアクティビティ符号化の選択に依存しない最適化を保証する、安定性の高い最適化を実現する学習手順の設計。
• 収束に必要な訓練サンプル数と勾配ステップ数を削減し、データ効率を向上させる。

提案手法

• PCNNは、有限オートマトンにインspiredされたアーキテクチャを採用し、隠れ状態を一貫して維持することで、系列の各ステップにわたる文脈記憶を保持する。
• 記憶効果をよりよくモデル化するため、時間発展則を変更し、長距離依存関係を追跡できるようにする。
• 学習手順では、リーマン多様体上での勾配上昇を用い、パラメータおよびアクティビティ符号化の選択に不変となるようにし、最適化の安定性を向上させる。
• 更新あたりの計算コストが、特にスパarsely接続されたネットワークにおいて、標準的なバックプロパゲーション・スル・タイムに近くなるように、リーマンメトリックを選定する。
• エンドツーエンドで観測された系列の尤度を最大化するように学習させることで、生成的および判別的モデリングの両方が可能になる。
• 文脈自由文法に類似したネスト、マルコフ関係の積集合、distant-XOR 問題を含む合成タスクで評価する。

実験結果

リサーチクエスチョン

• RQ1 有限オートマトンに類似した構造を持つニューラルネットワークアーキテクチャは、記号列におけるネストされたブロック構造のような複雑なアルゴリズム的依存関係を学習できるか？
• RQ2 リーマンメトリックに基づく最適化は、系列モデリングにおいて標準的勾配法と比較して、最適化の安定性と収束性をどのように向上させるか？
• RQ3 PCNNは、標準的なRNNが苦戦するdistant-XOR問題のような長距離依存関係に対して、どの程度一般化できるか？
• RQ4 メトリックに基づく学習は、従来のアプローチと比較して、必要な訓練サンプル数と勾配ステップ数をどの程度削減できるか？

主な発見

• PCNNは、自然言語構造の特徴ともされる文脈自由文法に類似したネストパターンを効果的に学習し、標準的なRNNが著しく困難とされる問題を解消した。
• モデルは複数の独立したマルコフ的関係の積集合を効果的に捉え、複雑で多面的な依存関係をモデル化する能力を示した。
• distant-XOR 問題において、より複雑な最先端のアルゴリズムよりも優れた性能を達成し、長距離依存関係への強力な一般化能力を示した。
• リーマン的勾配上昇手順により、標準的手法よりも収束が速く、必要な訓練サンプル数と勾配ステップ数が削減された。