[論文レビュー] Connecting Weighted Automata and Recurrent Neural Networks through Spectral Learning

Guillaume Rabusseau, Tianyu Li+1 more|arXiv (Cornell University)|Jul 4, 2018

Machine Learning and Algorithms参考文献 47被引用数 10

ひとこと要約

本稿は、重み付き有限オートマトン（WFAs）と線形活性化関数を用いた2階RNN（2-RNN）の間で厳密な表現的同等性を確立し、線形2-RNNが連続入力系列へ一般化されることを示している。連続入力系列からのモデルパラメータ推定に向け、Hankelテンソル上のスペクトル学習を用いた、最初の証明可能に一貫性のある学習アルゴリズムを提案している。低ランク構造とテンソルトレイン回復を活用することで、連続的入力系列からのパラメータ推定が可能となる。

ABSTRACT

In this paper, we unravel a fundamental connection between weighted finite automata~(WFAs) and second-order recurrent neural networks~(2-RNNs): in the case of sequences of discrete symbols, WFAs and 2-RNNs with linear activation functions are expressively equivalent. Motivated by this result, we build upon a recent extension of the spectral learning algorithm to vector-valued WFAs and propose the first provable learning algorithm for linear 2-RNNs defined over sequences of continuous input vectors. This algorithm relies on estimating low rank sub-blocks of the so-called Hankel tensor, from which the parameters of a linear 2-RNN can be provably recovered. The performances of the proposed method are assessed in a simulation study.

研究の動機と目的

• 線形活性化関数を用いた2階RNN（2-RNN）と重み付き有限オートマトン（WFAs）の間の表現的同等性を形式化すること。
• 離散的記号WFAsからのスペクトル学習を、ベクトル値WFAsおよび連続入力系列を扱う線形2-RNNへ拡張すること。
• 連続的ベクトル系列からの訓練データからモデルパラメータを回復できる、一貫性のある、証明可能な学習アルゴリズムを構築すること。
• 従来、離散的入力にのみ適用可能であったスペクトル学習の長年の制限を克服すること。
• 提案手法のノイズおよびランクの誤設定に対するロバストネスと標本効率を調査すること。

提案手法

• 線形2-RNNとベクトル値WFAsの間の同等性を活用し、学習を低ランクテンソル回復問題として定式化する。
• 連続的入力ベクトル系列からHankelテンソルの低ランク部分ブロックを、行列センシングおよびテンソル回復技術を用いて推定する。
• 線形2-RNNの多次元線形構造を活用し、Hankel部分ブロックを低テンソルトレイン（TT）ランクを持つ高次元テンソルに再形状する。
• 反復的ハードスレッディング（IHT）および切り詰めIHT（TIHT）を用いて、ノイズありで有限な訓練データから低ランクHankelテンソルを回復する。
• 初期のスペクトル推定値を改善するために、確率的勾配降下法（SGD）を適用し、一般化性能を向上させる。
• 数値的安定化スキームを採用：モデルの訓練MSEがゼロ関数のそれより大きい場合、数値的失敗を避けるためにゼロモデルを返す。

実験結果

リサーチクエスチョン

• RQ1 入力が離散的記号である場合、線形2-RNNと重み付き有限オートマトン（WFAs）の間に明確な数学的同等性が存在するか？
• RQ2 離散的アルファベットに限定されない、連続的入力系列を扱えるように、WFAsのスペクトル学習アルゴリズムを拡張できるか？
• RQ3 線形2-RNNのHankelテンソルにおける低ランク構造を活用することで、連続的入力に対する一貫性のある学習アルゴリズムを設計できるか？
• RQ4 提案手法の標本効率およびノイズやランクの誤設定に対するロバストネスは、どのように評価されるか？
• RQ5 初期のスペクトル推定値をSGDによるエンドツーエンドのファインチューニングで改善でき、標準的なRNNよりも性能向上が達成されるか？

主な発見

• 提案されたスペクトル学習アルゴリズムは、ノイズがある状況下でも訓練データから目的関数を一貫して回復でき、訓練データ量が増えるほど性能が向上する。
• IHTおよびTIHT手法は、他の回復手法よりも標本効率が高く、特にノイズが多い状況でその利点が顕著に現れる。これは、低ランクテンソル構造を活用することの有効性を裏付ける。
• TIHTはその行列ベースの類似手法（IHT）を上回る性能を示し、テンソルトレイン構造を活用することで推定精度が向上することを示している。
• TIHTの推定値を確率的勾配降下法（SGD）でファインチューニングすることで、性能が一貫して向上し、合成タスクにおいて標準LSTMを常に上回るか、同等の性能を達成する。
• ランクパラメータを過大に推定しても、より多くの訓練サンプルを必要とするが、依然として目的関数に収束する。一方、ランクを過小に推定すると、学習に失敗する。
• 訓練中に観測された長さを越える系列に対しても、本手法はうまく一般化できており、優れたインダクティブバイアスおよび一般化能力を示している。