[論文レビュー] Learning Deterministic Weighted Automata with Queries and Counterexamples

Gail Garfinkel Weiss, Yoav Goldberg+1 more|arXiv (Cornell University)|Oct 30, 2019

Machine Learning and Algorithms被引用数 24

ひとこと要約

本稿では、RNN などのブラックボックス言語モデルから、条件付き確率の許容誤差を用いたメンバー順序クエリと同値クエリを用いて、確率的決定的有限オートマトン（PDFAs）を学習するクエリベースのアルゴリズムであるWL*を提示する。この手法は、スペクトル法と比較してより優れた語誤り率（WER）とNDCGを達成するとともに、RNNの動作をユーザーが定義した許容範囲内で正確に再現する、コンactで解釈可能な決定的モデルを生成する。

ABSTRACT

We present an algorithm for extraction of a probabilistic deterministic finite automaton (PDFA) from a given black-box language model, such as a recurrent neural network (RNN). The algorithm is a variant of the exact-learning algorithm L*, adapted to a probabilistic setting with noise. The key insight is the use of conditional probabilities for observations, and the introduction of a local tolerance when comparing them. When applied to RNNs, our algorithm often achieves better word error rate (WER) and normalised distributed cumulative gain (NDCG) than that achieved by spectral extraction of weighted finite automata (WFA) from the same networks. PDFAs are substantially more expressive than n-grams, and are guaranteed to be stochastic and deterministic - unlike spectrally extracted WFAs.

研究の動機と目的

• 訓練済みRNNなどのブラックボックス言語モデルから、解釈可能で決定的かつ確率的なPDFAsを抽出するための手法を開発すること。
• スペクトル学習法やn-gramモデルが非局所的依存関係を捉えるのを制限し、確率的性質と決定的性質を保証できないという問題を解決すること。
• 抽出中にいつでも停止可能であるようにしながら、正しさの保証とターゲットモデルとの局所的類似性を維持すること。
• ノイズが含まれるか近似された確率推定値を扱うための重み付き確率的設定にL*アルゴリズムを拡張し、許容範囲を導入すること。
• Transformerを含む任意の重み付き有限オートマトンに適用可能な汎用フレームワークを提供すること。

提案手法

• 条件付き確率クエリと許容しきい値を用いた同値チェックを導入することで、L*アルゴリズムを重み付き確率的設定に適応する。
• メンバー順序クエリを用いて、与えられたシーケンスの接頭辞に対して次のトークンの確率を取得し、仮説をターゲットモデルと照合するための同値クエリを用いる。
• 局所的許容範囲 $ t \in [0,1] $ を用いて確率ベクトルを比較し、類似した状態を統合することでオートマトンのサイズを削減する。
• 低確率領域における確率の消失を回避するため、条件付き確率を用いて観察テーブルを構築する。
• ターゲットモデルとの局所的類似性に関する保証を維持しつつ、抽出を早期に停止できる「いつでも停止可能」な終了を統合する。
• 非推移的であるため、PDFAの構築時に注意深く処理が必要な許容範囲に基づく比較を用いる。

実験結果

リサーチクエスチョン

• RQ1 クエリベースの学習アルゴリズムは、ブラックボックスRNN言語モデルから確率的決定的有限オートマトン（PDFA）を効果的に抽出できるか？
• RQ2 L*アルゴリズムは、ノイズが含まれるか近似された確率推定値を扱う重み付き確率的オートマトンにどのように適応できるか？
• RQ3 許容しきい値を導入することで、抽出されたPDFAのサイズと精度にどのような影響を与えるか？
• RQ4 合成および実世界の言語タスクにおいて、抽出されたPDFAはスペクトル学習法やn-gramベースラインと比較してWERおよびNDCGでどのように異なるか？
• RQ5 正しさと局所的類似性の保証を維持しつつ、アルゴリズムを早期に停止できるか？

主な発見

• WL*は、Tomita文法に基づくRNNに対して、約1分で元のターゲットと同一構造のPDFAsを再構築し、完全またはほぼ完全なWERおよびNDCGを達成した。
• UHL言語では、3つのテストケースすべてでWER = 0.0、NDCG = 1.0を達成し、スペクトル学習法やn-gram法を上回った。
• UHL 1では、15秒でWER = 0.0、NDCG = 1.0、PDFAサイズ9を達成した。一方、スペクトル学習法は56秒でより大きなモデル（k=150）を必要とした。
• UHL 2では、73秒でWER = 0.0、NDCG = 1.0、PDFAサイズ5を達成した。n-gram法（WER = 0.12、NDCG = 0.94）やスペクトル学習法（WER = 0.002）を大きく上回った。
• UHL 3では、55秒でWER = 0.0、NDCG = 1.0、PDFAサイズ4を達成した。一方、スペクトル学習法は71秒でより大きなモデル（k=17）を必要とした。
• n-gram法は単純で局所的な言語では優れた性能を示したが、非局所的言語では失敗し、PDFAsが長距離依存関係を捉える優位性が浮き彫りになった。