[論文レビュー] A Comparison of Rule Extraction for Different Recurrent Neural Network Models and Grammatical Complexity.

Qinglong Wang, Kaixuan Zhang+4 more|arXiv (Cornell University)|Jan 16, 2018

Natural Language Processing Techniques被引用数 13

ひとこと要約

この論文は、トミタ文法セットからの決定的有限オートマトン（DFA）の学習において、特にエルマンネットワーク、2次RNN、および新しいRNNタイプを含むさまざまな再帰的ニューラルネットワーク（RNN）アーキテクチャのルール抽出能力を比較している。2次RNNは、すべての文法において一貫して他のモデルを上回るルール抽出精度を示しており、文法的複雑さをエントロピーと平均編集距離を用いて理論的に分析することで、性能の不一致を説明している。

ABSTRACT

It has been shown that rules can be extracted from highly non-linear, recursive models such as recurrent neural networks (RNNs). The RNN models mostly investigated include both Elman networks and second-order recurrent networks. Recently, new types of RNNs have demonstrated superior power in handling many machine learning tasks, especially when structural data is involved such as language modeling. Here, we empirically evaluate different recurrent models on the task of learning deterministic finite automata (DFA), the seven Tomita grammars. We are interested in the capability of recurrent models with different architectures in learning and expressing regular grammars, which can be the building blocks for many applications dealing with structural data. Our experiments show that a second-order RNN provides the best and stablest performance of extracting DFA over all Tomita grammars and that other RNN models are greatly influenced by different Tomita grammars. To better understand these results, we provide a theoretical analysis of the complexity of different grammars, by introducing the entropy and the averaged edit distance of regular grammars defined in this paper. Through our analysis, we categorize all Tomita grammars into different classes, which explains the inconsistency in the performance of extraction observed across all RNN models.

研究の動機と目的

• さまざまなRNNアーキテクチャの正則文法学習におけるルール抽出性能を評価すること。
• 特定のRNNモデルが異なるトミタ文法において一貫性のない性能を示す理由を調査すること。
• ルール抽出の性能変動を説明するための理論的枠組みを構築し、文法的複雑さを定量化すること。
• エントロピーと平均編集距離を用いて、文法の内在的構造的複雑さに基づきトミタ文法を分類すること。

提案手法

• 7つのトミタ文法から決定的有限オートマトン（DFA）を学習する複数のRNNアーキテクチャ（エルマンネットワークや2次RNNを含む）を経験的に評価すること。
• 訓練済みRNNモデルを解釈可能な論理的ルールに変換するルール抽出技術を適用すること。
• 正則文法のエントロピーを定義し、文法的不確実性の尺度として計算すること。
• 文法内の文字列間の平均編集距離を導入し、構造的複雑さの尺度として用いること。
• これらの複雑さ指標を用いて、トミタ文法を異なる性能カテゴリに分類すること。
• 理論的複雑さ指標と、RNNモデル間での観察されたルール抽出精度の相関関係を分析すること。

実験結果

リサーチクエスチョン

• RQ1 異なるRNNアーキテクチャは、正則文法から解釈可能なルールを抽出する際にどのように比較されるか？
• RQ2 なぜ一部のRNNモデルは、異なるトミタ文法において一貫性のないルール抽出性能を示すのか？
• RQ3 RNNモデル間でのルール抽出の性能変動を説明する、文法の内在的性質は何か？
• RQ4 エントロピーと編集距離を用いて、文法的複雑さを形式的に定量化し、ルール抽出の難易度を予測できるか？
• RQ5 どのRNNアーキテクチャが、すべてのトミタ文法において最も安定的かつ正確なルール抽出を示すか？

主な発見

• 2次RNNは、7つのトミタ文法すべてにおいて、最も一貫性があり高いルール抽出精度を達成している。
• エルマンネットワークや他のRNN変種は、特定のトミタ文法に依存して性能に顕著な変動を示しており、文法的構造に敏感であることが示唆されている。
• 提案された複雑さ指標（エントロピーと平均編集距離）は、文法間での性能差をうまく説明している。
• これらの指標に基づき、トミタ文法を意味のある複雑さクラスに分類でき、実験的ルール抽出の結果と整合している。
• エントロピーが高く、平均編集距離が大きい文法は、特に単純なRNNアーキテクチャにおいて、ルール抽出が困難である傾向にある。
• 理論的枠組みにより、訓練を経ずに、文法構造のみに依存してルール抽出の難易度を予測可能である。