[論文レビュー] Mathematical Execution: A Unified Approach for Testing Numerical Code

Zhoulai Fu, Zhendong Su|arXiv (Cornell University)|Oct 4, 2016

Software Testing and Debugging Techniques参考文献 46被引用数 4

ひとこと要約

本論文は、数値コードの自動テストを数学的最適化問題として定式化することにより、一貫したアプローチである数学的実行（ME）を導入する。代表関数を用いてテストの目的を符号化し、数学的最適化を活用してこの関数を最小化することで、意味論に依存しない入力空間の効率的探索が可能になる。SunのC数学ライブラリ上で評価した結果、MEを基盤とするツールCoverMeは、91%というほぼ最適に近い分岐カバレッジを達成した。これは、ランダムテストやAustinよりも顕著に優れており、平均テスト時間は6.9秒（Austinの6058.4秒と比較）であった。

ABSTRACT

This paper presents Mathematical Execution (ME), a new, unified approach for testing numerical code. The key idea is to (1) capture the desired testing objective via a representing function and (2) transform the automated testing problem to the minimization problem of the representing function. The minimization problem is to be solved via mathematical optimization. The main feature of ME is that it directs input space exploration by only executing the representing function, thus avoiding static or symbolic reasoning about the program semantics, which is particularly challenging for numerical code. To illustrate this feature, we develop an ME-based algorithm for coverage-based testing of numerical code. We also show the potential of applying and adapting ME to other related problems, including path reachability testing, boundary value analysis, and satisfiability checking. To demonstrate ME's practical benefits, we have implemented CoverMe, a proof-of-concept realization for branch coverage based testing, and evaluated it on Sun's C math library (used in, for example, Android, Matlab, Java and JavaScript). We have compared CoverMe with random testing and Austin, a publicly available branch coverage based testing tool that supports numerical code (Austin combines symbolic execution and search-based heuristics). Our experimental results show that CoverMe achieves near-optimal and substantially higher coverage ratios than random testing on all tested programs, across all evaluated coverage metrics. Compared with Austin, CoverMe improves branch coverage from 43% to 91%, with significantly less time (6.9 vs. 6058.4 seconds on average).

研究の動機と目的

• 記号実行がパス爆発と数値制約のため困難である数値コードのテスト課題に対処すること。
• プログラム論理の複雑な静的または記号的解析を回避する、統一的で意味論に依存しない自動テスト手法の開発。
• 代表関数の数学的最適化が、数値コードの入力空間を体系的かつ効率的に探索できることの実証。
• カバレッジベースのテスト、パス到達可能性、境界解析、数値プログラムにおける充足可能性の検査といった分野におけるアプローチの評価。
• 実世界の数値ライブラリでMEを用いて分岐カバレッジテストを実行する実用的ツール（CoverMe）の構築と検証。

提案手法

• 目標プログラムFOOの失敗実行に近いかどうかを測る代表関数FOO_Rを定義する。FOO_R(x) = 0 であるのは、FOO(x) ↓ wrong であるときのみ。
• テスト問題をFOO_Rの最小化問題に変換し、FOOの意味論を解析することなく、既存の数学的最適化技術を活用する。
• 代表関数FOO_Rの評価にのみ従って、入力空間を探索する。実用的な最適化ソルバ（例：シミュレーテッドアニーリング、モンテカルロ・マルコフ連鎖）を活用する。
• 分岐カバレッジ、パス到達可能性、境界値解析といったテスト目的を距離に類似したメトリクスを用いて、FOO_Rに符号化する。
• 浮動小数点コードにおける高い分岐カバレッジを達成するために、MEを用いたプロトタイプツールCoverMeを実装する。
• 失敗する入力が存在すると仮定したもとで、FOO(x) ↓ wrong であることが、かつそれがFOO_Rを最小化するxであることに同値であることを理論的に保証する。

実験結果

リサーチクエスチョン

• RQ1 記号的または静的解析を回避する統一的アプローチを用いて、数値コードのテストを構築できるか？
• RQ2 代表関数の数学的最適化が、数値コードの入力空間探索を効果的に導けるか？
• RQ3 MEは、ランダムテストやハイブリッド記号的／探索ベースのツール（例：Austin）と比較して、カバレッジと効率性の面で優れているか？
• RQ4 MEは、分岐カバレッジ、パス到達可能性、充足可能性の検査といった複数のテスト目的に適応可能か？
• RQ5 代表関数の形式的定式化は、多様な数値テスト目標を強く理論的保証とともに符号化できるほど表現力があるか？

主な発見

• CoverMeは、SunのC数学ライブラリに含まれるすべてのテスト対象プログラムで、ほぼ最適に近い分岐カバレッジを達成し、すべての指標でランダムテストを上回った。
• CoverMeは、分岐カバレッジの平均値をAustinの43%から91%に向上させ、顕著で一貫した改善を示した。
• CoverMeは、テスト時間の平均値をAustinの6058.4秒から6.9秒に短縮し、99.9%の効率性向上を達成した。
• 本アプローチは、浮動小数点演算、非線形関係、外部数学関数（例：三角関数、対数関数）を含む多様な数値コードにおいて有効であった。
• 代表関数の定式化は、FOO(x) ↓ wrong であることが、かつそれがFOO_Rを最小化するxであることに同値であるという強い理論的基盤を提供した。
• 静的解析を一切行わず、関数評価のみに依存するMEのアーキテクチャは、スケーラビリティと多様なテスト問題への適応性を実現している。