[論文レビュー] Test Metrics for Recurrent Neural Networks.

Wei Huang, Youcheng Sun+2 more|arXiv (Cornell University)|Nov 5, 2019

Adversarial Robustness in Machine Learning参考文献 29被引用数 6

ひとこと要約

本稿では、学習された値および時間的依存関係を定量化する3つの新しいテストメトリクスを用いて、長期短期記憶（LSTM）ネットワーク向けの被覆度ガイドドテストフレームワークtestRNNを提案する。標的型マッピングと構造的被覆度を組み合わせることで、誤動作を効果的に同定し、被覆度と敵対的ロバストネスの正の相関関係を示し、解釈可能なニューラルネットワークテストの発展に寄与する。

ABSTRACT

Recurrent neural networks (RNNs) have been applied to a broad range of applications such as natural language processing, drug discovery, and video recognition. This paper develops a coverage-guided testing approach for a major class of RNNs -- long short-term memory networks (LSTMs). We start from defining a family of three test metrics that are designed to quantify not only the values but also the temporal relations (including both step-wise and bounded-length) learned through LSTM's internal structures. While testing, random mutation enhanced with the coverage knowledge, i.e., targeted mutation, is designed to generate test cases. Based on these, we develop the coverage-guided testing tool testRNN. To our knowledge, this is the first time structural coverage metrics are used to test LSTMs. We extensively evaluate testRNN with a variety of LSTM benchmarks. Experiments confirm that there is a positive correlation between adversary rate and coverage rate, evidence showing that the test metrics are valid indicators of robustness evaluation. Also, we show that testRNN effectively captures erroneous behaviours in RNNs. Furthermore, meaningful information can be collected from testRNN for users to understand what the testing results represent. This is in contrast to most neural network testing works, and we believe testRNN is an important step towards interpretable neural network testing.

研究の動機と目的

• 再帰的ニューラルネットワーク、特にLSTMに対する構造的テストメトリクスの不足に対処すること。
• 出力値だけでなく、時間ステップにわたる学習された時間的関係を捉えるテストメトリクスの開発。
• 被覆度の知識を活用してマッピングテストをガイドする、より優れた故障検出を実現するテストフレームワークの設計。
• テストケースから意味のあるインサイトを収集することで、テスト結果の解釈可能性を実現すること。
• 提案されたメトリクスおよびフレームワークの有効性を、実世界のLSTMベンチマークを用いて検証すること。

提案手法

• LSTMが学習する値および時間的依存関係（ステップ単位および長さ制限付き）を評価する3つのテストメトリクスの定義。
• 被覆度フィードバックを用いて、未被覆の構造的コンポONENTSに向かってランダムなマッピングを標的化するマッピング戦略の設計。
• 提案されたメトリクスおよびマッピング戦略を統合した、被覆度ガイドドテストツールtestRNNの実装。
• 被覆率をフィードバック信号として使用し、テストケース生成の優先順位を決定し、テストの有効性を向上。
• テスト結果を収集・分析し、モデル動作および障害モードに関する解釈可能なインサイトを抽出。
• 多様なLSTMベンチマークを用いてフレームワークを評価し、ロバストネスおよび故障検出能力を測定。

実験結果

リサーチクエスチョン

• RQ1 構造的被覆度メトリクスは、LSTMが学習する内部の時間的および値ベースの挙動を効果的に定量化できるか？
• RQ2 LSTMにおいて、被覆率と敵対的ロバストネスの間に正の相関関係が存在するか？
• RQ3 提案されたテストフレームワークは、ベースライン手法よりもLSTMモデルの誤動作をより効果的に検出できるか？
• RQ4 testRNNは、テスト結果の解釈可能性をどの程度提供できるか？
• RQ5 提案されたテストメトリクスは、既存のニューラルネットワークテスト手法と比較して、故障検出および被覆度の観点で優れているか？

主な発見

• 敵対的攻撃率と被覆率の間に正の相関関係が観察され、被覆率が高いほどロバストネスが高いことを示唆した。
• testRNNは、複数のベンチマークでLSTMモデルの誤動作を効果的に検出でき、故障局所化の有効性を示した。
• テストメトリクスは、ロバストネス評価の有効な指標として妥当であることが検証され、モデル評価への応用が可能であることを裏付けた。
• testRNNは、多数の既存のニューラルネットワークテストツールとは異なり、意味のあるテストケースを生成し、モデル挙動に関する解釈可能なインサイトを提供した。
• 被覆度フィードバックをマッピングテストに統合することで、テストケースの有効性および被覆率収束の改善が顕著に見られた。
• 自然言語処理および動画認識タスクを含む多様なLSTM応用分野において、フレームワークは一貫した性能を示した。