[論文レビュー] DeepRNG: Towards Deep Reinforcement Learning-Assisted Generative Testing of Software

Chuan-Yung Tsai, Graham W. Taylor|arXiv (Cornell University)|Jan 29, 2022

Advanced Malware Detection Techniques被引用数 5

ひとこと要約

本論文では、効率的に抽出可能なコールスタックベースの状態表現を用いてランダムネーバー生成器（RNG）を強化する深層強化学習（DRL）アシスト型の生成テストフレームワーク、DeepRNGを提案する。このフレームワークは、35万行を超えるコードを有する大規模ブロックチェーンフレームワークであるCosmos SDKにおいて、統計的に有意なテストカバレッジの向上を達成し、以前に未知のバグを発見した。

ABSTRACT

Although machine learning (ML) has been successful in automating various software engineering needs, software testing still remains a highly challenging topic. In this paper, we aim to improve the generative testing of software by directly augmenting the random number generator (RNG) with a deep reinforcement learning (RL) agent using an efficient, automatically extractable state representation of the software under test. Using the Cosmos SDK as the testbed, we show that the proposed DeepRNG framework provides a statistically significant improvement to the testing of the highly complex software library with over 350,000 lines of code. The source code of the DeepRNG framework is publicly available online.

研究の動機と目的

• 複雑なソフトウェアシステム、特に生成テストの文脈において、効果的で多様なテスト入力を生成する課題に対処すること。
• 35万行を超えるコードを有する大規模システム、たとえばCosmos SDKのようなブロックチェーンインfraストラクチャに不可欠なシステムにおけるソフトウェアテストの効率とカバレッジを向上させること。
• 手動でのインストルメンテーションやコード変更を必要とせず、DRLをRNGプロセスに直接統合するフレームワークの開発。
• DRLエージェントの状態表現に、状態・行動・報酬の履歴を組み込むことで、テストカバレッジとバグ検出にどのような影響を与えるかを評価すること。
• 実世界のソフトウェアにおいて、以前に未知の脆弱性を同定できる、このフレームワークの実用的有効性を示すこと。

提案手法

• テスト対象ソフトウェアの完全なコールスタックを、複雑または非効率な表現（たとえば、カバレッジビットマップ）に代わる軽量で自動抽出可能な状態表現として使用する。
• IMPALAで訓練された深層強化学習エージェントを用いて、テストカバレッジを最大化し、ソフトウェア障害を引き起こす乱数を生成する。
• エージェントの状態表現には、過去の状態・行動・報酬（SAR）の履歴が含まれており、履歴の文脈を切断せずに柔軟で頑健な学習を可能にする。
• 状態表現は、実行中に観測された一意のコールスタックパターンのワンホットベクトルとして符号化され、大規模システムでも効率的な処理が可能になる。
• ステップごとに増加するブランチカバレッジに基づく密度の高い報酬がエージェントに与えられ、テスト障害（バグ）が検出された場合は最終的に1.0の報酬が与えられる。
• DRLエージェントがテストジェネレータが使用するRNGを直接制御するように、Cosmos SDKのテスト環境に統合された。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、ランダムネーバー生成器を強化することで、大規模ソフトウェアシステムにおけるテストカバレッジを効果的に向上させることができるか？
• RQ2 コールスタックベースの状態表現は、従来のカバレッジビットマップ表現に比べて、テストカバレッジと効率性の面で優れているか？
• RQ3 状態・行動・報酬の履歴（SAR）を状態表現に組み込むことで、DRLエージェントの性能と頑健性にどのような影響を与えるか？
• RQ4 提案されたフレームワークは、Cosmos SDKのような複雑な実世界のソフトウェアシステムにおいて、以前に未知のバグを同定できるか？
• RQ5 DeepRNGフレームワークを用いることで、デフォルトのランダムテストと比較してテストカバレッジの向上が統計的に有意であるか？

主な発見

• DeepRNGフレームワークは、Cosmos SDKにおけるテストカバレッジで統計的に有意な向上を達成した。CS-SAR設定ではカバレッジが11.876%に上昇し、ベースラインの11.861%を上回り、p = 0.012であった。
• カバレッジビットマップ（CB）表現に比べて、コールスタック（CS）表現単体でも優れた性能を示したが、CBはより多くの情報を保持しているにもかかわらず、これは情報密度が常に性能に相関しないことを示唆している。
• 報酬履歴（SAR）の組み込みにより性能が向上し、SARを含む設定が繰り返し実行された際の最も顕著な改善と頑健性を示した。
• フレームワークは、Cosmos SDKにおいて少なくとも2種類の新しいタイプのバグを発見した：不正な初期化と予期しないタイムアウト。
• 軽量で自動抽出可能なコールスタック表現の使用により、ソースコードの変更なしに、Cosmos SDKへの効率的かつスケーラブルな統合が可能になった。
• 結果は、DRLエージェントが状態・行動・報酬の履歴から学習することで、複雑なソフトウェア状態空間のより効果的な探索を可能にできることを示している。