[論文レビュー] Property-Directed Verification of Recurrent Neural Networks

Igor Khmelnitsky, Daniel Neider+7 more|arXiv (Cornell University)|Sep 22, 2020

Machine Learning and Algorithms参考文献 18被引用数 5

ひとこと要約

本稿では、アングリーンのL*学習アルゴリズムとモデル検査を統合したアプローチを用いて、正則仕様に対して再帰的ニューラルネットワーク（RNN）を検証する、新しい手法であるプロパティ指向検証（PDV）を提案する。目標仕様で学習プロセスを誘導することにより、PDVは構造的な欠陥を露呈する短く一般化可能な反例を、標準的な統計的モデル検査や抽象化ベースの手法よりも、反例の質と効率の両面で優れた性能で効率的に発見する。

ABSTRACT

This paper presents a property-directed approach to verifying recurrent neural networks (RNNs). To this end, we learn a deterministic finite automaton as a surrogate model from a given RNN using active automata learning. This model may then be analyzed using model checking as verification technique. The term property-directed reflects the idea that our procedure is guided and controlled by the given property rather than performing the two steps separately. We show that this not only allows us to discover small counterexamples fast, but also to generalize them by pumping towards faulty flows hinting at the underlying error in the RNN.

研究の動機と目的

• サイバーフィジカルシステムなどの安全に重要な応用分野におけるRNNの形式的検証の増大するニーズに対処すること。
• RNNの潜在的な無限または極めて大きな状態空間のため、従来のモデル検査がRNNに適用される際の制限を克服すること。
• 文法的推論とモデル検査をプロパティ指向の方法で統合した検証フレームワークを構築し、反例の質と効率を向上させること。
• 有限オートマトンの抽象化を活用して、RNNにおける誤分類（誤検出）と構造的誤りを検出可能にする。
• プロパティ指向の学習が、標準的な統計的モデル検査や抽象化ベースの手法よりも、より洞察に富み一般化可能な反例をもたらすことを実証すること。

提案手法

• 本手法は、メンバーーシップクエリと同等性クエリを用いて、RNNの代理モデルとしての決定的有限オートマトン（DFA）を段階的に学習するアングリーンのL*アルゴリズムを用いる。
• 各反復において、学習された仮説DFAが仕様DFAに対して古典的手法でモデル検査され、包含関係 $ L(H) \subseteq L(A) $ の検証が行われる。
• 仮説DFAに反例が見つかり、仕様DFAにはない場合、RNNに対して検証され、確認されたら仮説が更新される。
• このプロセスは、目標仕様によって誘導され、学習と検証が連携して進行し、反例がポンピングを用いて一般化されることで、RNNの根本的な欠陥が明らかになる。
• 同等性クエリの回答には、誤差確率が制限された統計的モデル検査が用いられ、ユーザーが定義した信頼水準まで正しさを保証する。
• 二重の仕様使用により、$ L(R) \subseteq L(A) $ を用いた誤検出（false positive）検出と、$ L(R) \subseteq \overline{L(A)} $ を用いた誤検出（false negative）検出を両方サポートする。

実験結果

リサーチクエスチョン

• RQ1 文法的推論とモデル検査のプロパティ指向統合は、標準的な統計的モデル検査よりも、RNNに対してより簡潔で洞察に富んだ反例をもたらすか？
• RQ2 PDVが発見する反例の質と長さは、統計的モデル検査（SMC）と抽象化ベースのモデル検査（AAMC）と比べてどの程度優れているか？
• RQ3 PDVの反例は、ポンピングを用いてどの程度一般化可能であり、RNN動作における体系的な誤りを明らかにできるか？
• RQ4 学習されたDFAのサイズは、検証プロセスの効率性とスケーラビリティにどの程度影響を与えるか？
• RQ5 PDVは、複雑な時系列ネットワークで学習されたRNNを、誤ったエッジ接続やパス分類誤りを検出しながら、効率的に検証できるか？

主な発見

• PDVは平均長2の反例を発見し、SMCの平均13.1よりも著しく短く、RNNの誤りに関するより解釈可能で実行可能なインサイトをもたらした。
• PDVの平均実行時間は1回の検証あたり0.41秒であり、SMC（0.48秒）と同等の速度で、AAMC（655.68秒）よりも著しく高速で、優れた効率性を示した。
• PDVで抽出されたDFAの平均サイズはわずか2であり、RNNが最小オートマトンによって効果的に近似可能であることを示した。一方、AAMCでは平均124.14状態を必要としており、より高い複雑性を示した。
• 7つの実世界の時系列ネットワークインスタンスすべてにおいて、PDVは接触シーケンスで学習されたRNNにおける、見落とされたまたは不正なエッジといった構造的欠陥を正常に同定した。
• PDVの反例はポンピングによって一般化可能であり、XML形式のシーケンスにおける閉じタグの欠落といった、一連の誤動作を特定可能にした。
• 誤差確率がユーザーが定義した範囲内に保たれる高信頼性の正しさを維持しながら、反例報告において完全な正しさを保証したため、妥当かつ効率的な手法であった。