[論文レビュー] A Comparative Study of Rule Extraction for Recurrent Neural Networks

Qinglong Wang, Kaixuan Zhang+4 more|arXiv (Cornell University)|Jan 16, 2018

Machine Learning and Algorithms参考文献 35被引用数 12

ひとこと要約

本稿では、エイムン-RNN、2次RNN、MI-RNN、LSTM、GRUの5つの再帰的ニューラルネットワークアーキテクチャに対して、7つのトミタ文法（多様な複雑さを有する）を用いて決定的有限オートマトン（DFA）による規則抽出を比較した。その結果、2次RNNは、複雑な文法においても、他のモデルと比較して一貫して高いDFA抽出精度と安定性を示した。一方、Elman-RNNのような単純なモデルは、特定のタスクにおいて10%未満の成功確率にとどまり、困難を示した。

ABSTRACT

Understanding recurrent networks through rule extraction has a long history. This has taken on new interests due to the need for interpreting or verifying neural networks. One basic form for representing stateful rules is deterministic finite automata (DFA). Previous research shows that extracting DFAs from trained second-order recurrent networks is not only possible but also relatively stable. Recently, several new types of recurrent networks with more complicated architectures have been introduced. These handle challenging learning tasks usually involving sequential data. However, it remains an open problem whether DFAs can be adequately extracted from these models. Specifically, it is not clear how DFA extraction will be affected when applied to different recurrent networks trained on data sets with different levels of complexity. Here, we investigate DFA extraction on several widely adopted recurrent networks that are trained to learn a set of seven regular Tomita grammars. We first formally analyze the complexity of Tomita grammars and categorize these grammars according to that complexity. Then we empirically evaluate different recurrent networks for their performance of DFA extraction on all Tomita grammars. Our experiments show that for most recurrent networks, their extraction performance decreases as the complexity of the underlying grammar increases. On grammars of lower complexity, most recurrent networks obtain desirable extraction performance. As for grammars with the highest level of complexity, while several complicated models fail with only certain recurrent networks having satisfactory extraction performance.

研究の動機と目的

• 決定的有限オートマトン（DFA）によるシンボリック規則抽出が、多様な再帰的ニューラルネットワークアーキテクチャにおいて実現可能で効果的であるかを調査すること。
• 基礎となる正規文法の複雑さが、RNNにおけるDFA抽出性能に与える影響を分析すること。
• 標準化されたベンチマークセット上で、複数のRNNモデルにおける抽出されたDFAの成功確率と品質を評価・比較すること。
• RNNからのシンボリック知識抽出を促進または阻害するアーキテクチャ的およびトレーニング要因を特定すること。

提案手法

• 7つのトミタ文法を、エントロピーと平均編集距離の2つの複雑さ指標を用いて形式的に分類する。
• エイムン-RNN、2次RNN、MI-RNN、LSTM、GRUの5つの再帰的ネットワークアーキテクチャを、各トミタ文法で学習させ、言語を習得させる。
• RNNの隠れ状態空間を有限状態に分割し、入力記号に基づいて遷移規則を推論する汎用的で構成的なDFA抽出手法を適用する。
• 2つの指標を用いて抽出性能を評価する：(1) 抽出されたDFAの品質（正しさと完全性）、(2) 唯一の目的DFAを回復する成功確率。
• 各モデル-文法ペアに対して複数回のランダム試行を実施し、結果の統計的信頼性を確保する。
• 抽出されたDFAを用いて、モデルの挙動を比較し、アーキテクチャ間でのシンボリック規則抽出の安定性と正確性を評価する。

実験結果

リサーチクエスチョン

• RQ1 正規文法の複雑さが、学習済み再帰的ネットワークからのDFA抽出成功確率にどのように影響するか？
• RQ2 どの再帰的ニューラルネットワークアーキテクチャが、異なる文法において最も正確で安定したDFA抽出を達成するか？
• RQ3 2次相互作用やゲートメカニズムといったアーキテクチャ的要素が、シンボリック規則抽出にどの程度影響を及えるか？
• RQ4 特定のRNNが正しくDFAを抽出できない特定の文法は存在するか？ もし存在するならば、その理由は何か？
• RQ5 活性化関数の選択（例：tanh 対 ReLU）が、DFA抽出性能にどのように影響するか？

主な発見

• 低複雑度のトミタ文法（例：文法1）では、すべてのモデルが高成功率を示し、特に2次RNNとMI-RNNが顕著な性能を発揮した。
• 中程度の複雑度の文法では、大多数のモデルが50%未満の成功率にとどまり、2次RNNは他のモデルと比べて著しく高い正確性を維持した。
• 最も複雑な文法（文法5および6）では、2次RNNとMI-RNNのみが正しくDFAを抽出できたが、他のすべてのモデルは失敗した。
• tanh活性化関数を用いたElman-RNNは、文法2ではDFAの品質が非常に高く（99%近い正確性）、しかし成功確率はわずか10%にとどまり、DFAの品質と正しい構造的回復の間には乖離が生じていることが示された。
• 2次RNNは、すべての文法において最も安定的かつ一貫性のあるDFA抽出性能を示し、LSTM や GRU でさえも複雑なタスクで劣っていた。
• 結果から、2次RNN や MI-RNN に見られる2次相互作用メカニズムが、DFA抽出に適した空間的に分離可能な隠れ状態を生成しやすいことが示唆された。