[論文レビュー] Distance and Equivalence between Finite State Machines and Recurrent Neural Networks: Computational results

Reda Marzouk, Colin de la Higuera|arXiv (Cornell University)|Apr 1, 2020

Machine Learning and Algorithms参考文献 39被引用数 4

ひとこと要約

本稿は、再帰的ニューラルネットワーク言語モデル（RNN-LM）を有限状態機械（FSM）で近似する際の計算複雑性を調査し、ReLU活性化関数を用いた一般のRNN-LMと重み付きFSM（PFA/WFA）の間で、同等性および距離計算が決定不能であることを証明している。一貫性のあるRNN-LMに関しては、チェビシェフ距離近似は決定可能であるが、有限サポートではNP困難であり、LSTM、GRU、有限精度RNNに対しても同様の影響を及ぼす。

ABSTRACT

The need of interpreting Deep Learning (DL) models has led, during the past years, to a proliferation of works concerned by this issue. Among strategies which aim at shedding some light on how information is represented internally in DL models, one consists in extracting symbolic rule-based machines from connectionist models that are supposed to approximate well their behaviour. In order to better understand how reasonable these approximation strategies are, we need to know the computational complexity of measuring the quality of approximation. In this article, we will prove some computational results related to the problem of extracting Finite State Machine (FSM) based models from trained RNN Language models. More precisely, we'll show the following: (a) For general weighted RNN-LMs with a single hidden layer and a ReLu activation: - The equivalence problem of a PDFA/PFA/WFA and a weighted first-order RNN-LM is undecidable; - As a corollary, the distance problem between languages generated by PDFA/PFA/WFA and that of a weighted RNN-LM is not recursive; -The intersection between a DFA and the cut language of a weighted RNN-LM is undecidable; - The equivalence of a PDFA/PFA/WFA and weighted RNN-LM in a finite support is EXP-Hard; (b) For consistent weight RNN-LMs with any computable activation function: - The Tcheybechev distance approximation is decidable; - The Tcheybechev distance approximation in a finite support is NP-Hard. Moreover, our reduction technique from 3-SAT makes this latter fact easily generalizable to other RNN architectures (e.g. LSTMs/RNNs), and RNNs with finite precision.

研究の動機と目的

• 訓練済みのRNN言語モデルを有限状態機械（FSM）で近似する際の計算複雑性を、同等性および距離メトリクスの観点から分析すること。
• 後処理によるシンボリックで解釈可能なFSMのRNNからの抽出可能性を評価すること。これは、解釈可能なAIにおける主要な課題である。
• 確率的／重み付き有限オートマトン（PFA/WFA）とRNN-LMとの間の距離および同等性問題が、決定可能か、あるいは計算的に困難であるかを同定すること。
• LSTM、GRU、有限精度RNNを含むより広範なアーキテクチャへとRNNの解釈可能性に関する結果を拡張すること。
• 安全性が求められる応用分野において不可欠な、RNNのシンボリック近似の品質を評価する理論的基盤を提供すること。

提案手法

• 3-SAT充足可能性問題からの還元を用いて、ReLU活性化関数を用いた一般のRNN-LMとPFA/WFAとの間の同等性および距離計算の決定不能性を証明する。
• 入力文字列上でPFAの動作をシミュレートできる、メモリレスで1層の隠れ層を有する1階RNNを構築する。
• RNNの出力をしきい値処理して言語を定義するカットポイント言語構成を用い、DFAおよびPFAの言語と比較可能にする。
• 有限長の文字列上でのRNNとPFAの出力分布間のチェビシェフ（L∞）距離を定義し、近似の質を測定する。
• 3-SATからの還元を用いて、有理数パラメータと有界精度を用いて、有限サポートにおけるチェビシェフ距離近似のNP困難性を証明する。
• 内部の再帰的ダイナミクスに依存しないが、出力バイアスのみに依存するという点に着目し、LSTM、GRU、有限精度RNNに対してもNP困難性の結果を一般化する。

実験結果

リサーチクエスチョン

• RQ1 ReLU活性化関数を用いた一般の重み付き1階RNN-LMと確率的／重み付き有限オートマトン（PFA/WFA）との間の同等性問題は決定可能か？
• RQ2 PFA/WFAと重み付きRNN-LMが生成する言語間の距離は計算可能であり、再帰的か？
• RQ3 決定的有限オートマトン（DFA）と重み付きRNN-LMのカットポイント言語との積集合は決定可能か？
• RQ4 入力文字列の有限サポートに制限した場合、PFA/WFAと重み付きRNN-LMとの同等性は決定可能か？
• RQ5 一貫性のあるRNN-LMとPFAとの間のチェビシェフ距離近似は決定可能か？また、有限サポートにおける計算複雑性はいかほどか？

主な発見

• ReLU活性化関数を用いた一般の重み付き1階RNN-LMとPFA/WFAとの同等性問題は決定不能である。
• 系として、PFA/WFAと重み付きRNN-LMが生成する言語間の距離は再帰的ではない。
• DFAと重み付きRNN-LMのカットポイント言語との積集合は決定不能である。
• PFA/WFAと重み付きRNN-LMの同等性は、有限サポートにおいてはEXP-Hardである。
• 任意の計算可能関数を活性化関数として持つ一貫性のあるRNN-LMに関しては、チェビシェフ距離近似は決定可能である。
• 有限サポートにおける一貫性のあるRNN-LMとPFAとの間のチェビシェフ距離近似はNP困難であり、この結果はLSTM、GRU、有限精度RNNへと一般化可能である。