[論文レビュー] Subregular Complexity and Deep Learning

Enes Avcu, Chihiro Shibata+1 more|arXiv (Cornell University)|May 16, 2017

Machine Learning and Algorithms参考文献 30被引用数 21

ひとこと要約

この論文は、局所的および長期的依存関係をそれぞれエンコードする、シンプルなRNN（s-RNN）とLSTMが、部分正規形式言語—厳密局所（SL）および厳密ピecewise（SP）—を学習する能力を調査する。深層学習の文脈ではLSTMが長期的依存関係の学習でs-RNNを上回ると一般的に考えられているが、実験の結果、複雑なSP言語においてs-RNNがLSTMを常に上回るか、同等の性能を示すことが判明し、LSTMの序列的学習における優位性に関する仮定に疑問を呈する。

ABSTRACT

This paper argues that the judicial use of formal language theory and grammatical inference are invaluable tools in understanding how deep neural networks can and cannot represent and learn long-term dependencies in temporal sequences. Learning experiments were conducted with two types of Recurrent Neural Networks (RNNs) on six formal languages drawn from the Strictly Local (SL) and Strictly Piecewise (SP) classes. The networks were Simple RNNs (s-RNNs) and Long Short-Term Memory RNNs (LSTMs) of varying sizes. The SL and SP classes are among the simplest in a mathematically well-understood hierarchy of subregular classes. They encode local and long-term dependencies, respectively. The grammatical inference algorithm Regular Positive and Negative Inference (RPNI) provided a baseline. According to earlier research, the LSTM architecture should be capable of learning long-term dependencies and should outperform s-RNNs. The results of these experiments challenge this narrative. First, the LSTMs' performance was generally worse in the SP experiments than in the SL ones. Second, the s-RNNs out-performed the LSTMs on the most complex SP experiment and performed comparably to them on the others.

研究の動機と目的

• 深層学習の文献で主張されているように、LSTMが長期的依存関係の学習においてs-RNNを常に上回るかどうかを評価すること。
• 形式言語理論および文法推論を応用し、ニューラルネットワークの学習能力を体系的かつ制御可能なベンチマークで評価すること。
• 学習データよりも長いシーケンスに対するRNNの一般化行動を、制御された語長を有するテストセットを用いて調査すること。
• LSTMが消失勾配問題を解消し、長期的依存関係の学習において本質的に優れているという支配的ナラティブの限界を評価すること。
• 最適化手法（例：Adam）が、s-RNNの長期的依存関係処理における困難を緩和できるかどうかを調査すること。

提案手法

• 研究では、局所的依存関係と長期的依存関係をそれぞれ表す、3つの厳密局所（SL）クラスおよび3つの厳密ピecewise（SP）クラスの形式言語を用いる。
• 各言語に対して、学習およびテストデータセットを構築し、学習シーケンスよりも長い長さのシーケンスに対する一般化を評価するため、語長を制御する。
• シンプルRNN（s-RNN）と長短期記憶ネットワーク（LSTM）の2種類のRNNを、さまざまな隠れ層サイズで、肯定例および否定例の両方で学習させる。
• 正規肯定・否定推論（RPNI）アルゴリズムを、正規言語の学習可能性とデータ品質の評価のためのベースラインとして用いる。
• 実験では、ネットワークサイズを系統的に変化させ、Adam最適化アルゴリズムの性能への影響を評価する。
• 性能はテストセットにおける正答率で測定され、一般化性能の評価は別々のTest1およびTest2で実施される。

実験結果

リサーチクエスチョン

• RQ1 LSTMは、厳密ピecewise（SP）言語にエンコードされた長期的依存関係の学習において、常にs-RNNを上回るのか？
• RQ2 s-RNNとLSTMは、部分正規言語タスクにおいて、学習時に見なかった長さのシーケンスに対して、どのように一般化するのか？
• RQ3 文法推論アルゴリズムRPNIは、ニューラルネットワークによる形式言語の学習可能性を評価する上で、信頼できるベースラインとして機能するのか？
• RQ4 Adamのような最適化手法は、長期的依存関係タスクにおけるs-RNNとLSTMの性能差を緩和できるのか？
• RQ5 SPクラスを超えた種類の長期的依存関係では、LSTMがs-RNNを顕著に上回るのか？

主な発見

• 最も複雑なSP言語（SP8）において、s-RNNがLSTMを上回った。1kの隠れユニットを用いた場合、Test1とTest2での正答率はそれぞれ0.8160および0.7702を記録したのに対し、LSTMは0.6520および0.6201にとどまった。
• SP2において、10kの隠れユニットを用いたs-RNNは、Test1とTest2で0.8371および0.8449の正答率を達成し、LSTMの0.8400および0.8264を上回った。
• SP4において、1kユニットのs-RNNは0.8160および0.7702の正答率を記録した一方、LSTMは0.7270および0.6808であった。これは、複雑なSPタスクにおいてs-RNNが一貫して優位であることを示している。
• 100kの隠れユニットを用いたSP8において、s-RNNは0.8251および0.7505の正答率を達成したのに対し、LSTMは0.8117および0.7645であった。両者の性能は類似しており、s-RNNの優位性は明確でない。
• LSTMのSP言語における性能は、SL言語よりも一般的に低く、LSTMのアーキテクチャが長期的依存関係の学習に優れているという期待とは対照的であった。
• RPNIベースラインは、すべての言語で完璧な正答率（1.0000）を達成しており、データが正規言語学習者にとって学習可能であることを確認した。これは、ニューラルネットワークの失敗がデータ品質に起因するものではないことを示唆している。