[論文レビュー] Constrained Adversarial Learning for Automated Software Testing: a literature review

João Vitorino, Tiago Dias+3 more|arXiv (Cornell University)|Mar 14, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本システマティックレビューでは、実行パスのデータを用いて訓練されたGAN（特にWGAN-GP）を活用し、入力制約を尊重する機能的に妥当な攻撃に類似した入力を生成することで、制約付きの敵対的学習を自動ソフトウェアテストに統合することを提案する。この手法により、ランダムテストに比べて分岐カバレッジをより効率的に向上させ、白ボックステスの文脈において人的作業と計算コストを削減できる。

ABSTRACT

It is imperative to safeguard computer applications and information systems against the growing number of cyber-attacks. Automated software testing tools can be developed to quickly analyze many lines of code and detect vulnerabilities by generating function-specific testing data. This process draws similarities to the constrained adversarial examples generated by adversarial machine learning methods, so there could be significant benefits to the integration of these methods in testing tools to identify possible attack vectors. Therefore, this literature review is focused on the current state-of-the-art of constrained data generation approaches applied for adversarial learning and software testing, aiming to guide researchers and developers to enhance their software testing tools with adversarial testing methods and improve the resilience and robustness of their information systems. The found approaches were systematized, and the advantages and limitations of those specific for white-box, grey-box, and black-box testing were analyzed, identifying research gaps and opportunities to automate the testing tools with data generated by adversarial attacks.

研究の動機と目的

• 増加するサイバー脅威と複雑化するシステムの影響を受ける中で、自動的で効率的かつ包括的なソフトウェアテストのニーズに対応すること。
• 現在の自動テストツールの限界、特に手動でのテスト設計、ランダムな入力生成、またはパラメータの網羅的変異に依存している点を特定すること。
• 敵対的機械学習における制約付きデータ生成が、機能的かつ標的化されたテスト入力を生成することでソフトウェアテストをどのように改善できるかを検討すること。
• システムのテスト対象における機能的・構造的制約を尊重する敵対的学習技術を活用して、研究者および実務家がソフトウェアテストツールをどのように強化できるかをガイドすること。
• 特に白ボックステスおよびグレイボックステスの文脈において、敵対的アプローチをソフトウェアテストに応用する分野における研究ギャップと今後の研究機会を強調すること。

提案手法

• PRISMAフレームワークを用いて、制約付きデータ生成に関する敵対的機械学習およびソフトウェアテストの関連研究を同定するシステマティックレビューを実施した。
• 「制約付きデータ生成」「敵対的例」「条件付き生成器」「摂動制約」などのバリエーションを含む広範かつ柔軟な検索語句を用いて、文献データベースを検索し、包括的なカバレッジを確保した。
• ソフトウェア入力の機能的または文法的制約（例：データ型、フォーマット、論理的範囲）を尊重する摂動を生成する敵対的学習手法に焦点を当てた。
• Gcovなどの実行パス情報（例：未テストの分岐を標的とする）を用いた白ボックステクニックを評価し、分岐カバレッジを最大化するようにGANを訓練した。
• 特にWGAN-GPを含む生成的敵対的ネットワーク（GAN）を適用し、テスト対象システムの挙動を学習し、反復的に分岐カバレッジを向上させる新しいテスト入力を生成した。
• 生成された入力を実行し、実行パスをログ記録し、その結果を再訓練に活用するフィードバックループを統合することで、適応的かつカバレッジ指向のテストデータ生成を可能にした。

Figure 1: PRISMA search process for RQ1.

実験結果

リサーチクエスチョン

• RQ1 敵対的学習手法は、ソフトウェアテストにおける制約付きデータ生成にどのように活用できるか？
• RQ2 敵対的機械学習から得られる制約付きデータ生成技術は、自動ソフトウェアテストツールにどのような利益をもたらすか？
• RQ3 現在の自動テストツールは、高いテストカバレッジを効率的に達成するために、どのような限界に直面しているか？
• RQ4 GANベースのアプローチは、ランダムまたはヒューリスティックベースのテスト戦略に比べて、テストカバレッジをどのように向上させられるか？
• RQ5 敵対的機械学習から、ソフトウェアテストの堅牢性と効率性を高めるために適応可能な技術は何か？

主な発見

• WGAN-GPベースの手法は、7つのユニットテスト関数のうち5つでランダムテストに比べ分岐カバレッジを向上させ、制約対応の敵対的生成の有効性を示した。
• Gcovなどのツールから得られる実行パスフィードバックを用いた白ボックステスにより、反復的なテスト入力の最適化が可能となり、網羅的探索を伴わずにカバレッジが顕著に向上した。
• 現在の大多数の自動テストツールは、ヒューリスティック的またはランダムな入力変異に依存しており、計算コストが高く、複雑なまたは制約のある入力空間を効率的に探索できない傾向にある。
• 制約付き敵対的学習は、有効で機能的に妥当な入力のみを生成することで、探索空間を縮小し、複雑なシステムにおいてテストの効率性とスケーラビリティを向上させる。
• 特に制約の強制が可能なGANを用いた敵対的機械学習技術を、ソフトウェアテストパイプラインに直接統合するための明確な研究ギャップが存在する。
• 今後の統合において、NLPを用いてコードから制約を抽出し、ブラックボックステスのAPIテストに向けたファジィ論理と強化学習を組み合わせることで、自動テストツールの適応性と堅牢性をさらに高められる可能性がある。

Figure 2: PRISMA search process for RQ2.