[論文レビュー] A Systematic Impact Study for Fuzzer-Found Compiler Bugs

Michaël Marcozzi, Qiyi Tang+2 more|arXiv (Cornell University)|Feb 25, 2019

Software Testing and Debugging Techniques参考文献 38被引用数 7

ひとこと要約

本稿は、Clang/LLVMにおけるfuzzerが発見したバグとユーザー報告によるコンパイラバグの実世界への影響を体系的かつ実証的に評価する研究を提示している。309個のDebianパッケージと1000万行を超えるC/C++コードを分析した結果、fuzzerが発見した不正最適化バグの約半数が生成バイナリに影響を及ぼしているが、テストスイートの障害はわずか2件にとどまり、多くの変更は発生条件が稀なことやコンパイラの保守的な最適化のおかげで、意味的影響が最小限または全くないことが判明した。

ABSTRACT

Despite much recent interest in compiler randomized testing (fuzzing), the practical impact of fuzzer-found compiler bugs on real-world applications has barely been assessed. We present the first quantitative and qualitative study of the tangible impact of miscompilation bugs in a mature compiler. We follow a rigorous methodology where the bug impact over the compiled application is evaluated based on (1) whether the bug appears to trigger during compilation; (2) the extent to which generated assembly code changes syntactically due to triggering of the bug; and (3) how much such changes do cause regression test suite failures and could be used to manually trigger divergences during execution. The study is conducted with respect to the compilation of more than 10 million lines of C/C++ code from 309 Debian packages, using 12% of the historical and now fixed miscompilation bugs found by four state-of-the-art fuzzers in the Clang/LLVM compiler, as well as 18 bugs found by human users compiling real code or by formal verification. The results show that almost half of the fuzzer-found bugs propagate to the generated binaries for some packages, but rarely affect their syntax and cause two failures in total when running their test suites. User-reported and formal verification bugs do not exhibit a higher impact, with less frequently triggered bugs and one test failure. Our manual analysis of a selection of bugs, either fuzzer-found or not, suggests that none can easily trigger a runtime divergence on the packages considered in the analysis, and that in general they affect only corner cases.

研究の動機と目的

• コンパイラのfuzzerが発見した不正最適化バグが、成熟したコンパイラ（Clang/LLVM）において実世界のアプリケーションに与える影響を定量的・定性的に評価すること。
• 実世界のアプリケーションにおけるfuzzerが発見したバグと、ユーザー報告および形式的検証済みバグの影響を比較すること。
• バグによって生成されるアセンブリコードの構文的変更が、実際の実行差異やテストスイートの障害を引き起こすかどうかを評価すること。
• バグによって引き起こされるバイナリ差分の頻度と意味的意義が、実際の生産環境ソフトウェアにおける実用的リスクと相関するかどうかを特定すること。
• バグの深刻度が実際のコードベースへの影響と相関するかどうかを評価することで、コンパイラ開発の優先順位を示唆すること。

提案手法

• 最先端の4つのコンパイラfuzzer（例：Csmith, Yarpgen）から歴史的かつ修正済みの不正最適化バグのうち12%を抽出し、ユーザー報告および形式的検証から得た18件のfuzzer非発見バグも含めた。
• Clang/LLVMコンパイラを用いて、309個のDebianパッケージから得た1000万行を超えるC/C++コードを、バグの最適化を有効・無効にした状態でコンパイルした。
• 3つの基準に基づき影響を測定した：(1) バグがコンパilation中に発動したか、(2) アセンブリコードの構文的変更の範囲、(3) 変更がテストスイートの障害やランタイム差異を引き起こしたか。
• 特定の実行時条件での実行差異の可能性を評価するため、選択されたアセンブリコード差分について手動での分析を実施した。
• 保守的な推論を用いて影響を推定し、プログラムの意味的構造を変更するもののみを意味のある影響とみなした。パフォーマンスやセキュリティなどの非機能的影響は除外した。
• 修正パッチを評価することで、有害な最適化が無効化されたかどうかを理解し、観察されたバイナリ差分が実際には無害か有害かを推定した。

実験結果

リサーチクエスチョン

• RQ1 Clang/LLVMにおけるfuzzerが発見した不正最適化バグは、実世界のC/C++アプリケーションのコンパイルにどの程度影響を及えるか？
• RQ2 バイナリの変更やテストスイート障害の観点から、fuzzerが発見したバグの影響は、ユーザー報告または形式的検証済みバグの影響と比べてどう異なるか？
• RQ3 不正最適化バグによって生じるアセンブリコードの構文的変更は、意味的に重要であるか、それとも通常はプログラム動作に影響しないか？
• RQ4 これらのバイナリ差分が、実際に実アプリケーションで実行差異を引き起こすような実行時条件は、あるのか、あるいはないのか？
• RQ5 修正パッチの特性（例：最適化の保守的無効化など）は、元のバグが引き起こす実際のリスクとどのように関連しているか？

主な発見

• fuzzerが発見した不正最適化バグの約46%（歴史的修正バグのうち12%）が、少なくとも1つのDebianパッケージにおいて生成バイナリの構文的変更を引き起こした。
• すべての影響を受けるパッケージにおいて、バグのあるコンパイラでコンパイルした際にテストスイートの障害が2件しか発生しなかったため、広範なバイナリ変更にもかかわらず実用的影響は低かった。
• 手動での分析により、バグによって引き起こされたアセンブリコードの構文的変更の多くは意味的影響がなく、多くの場合、保守的なコンパイラ最適化や稀な実行時条件に起因していた。
• 除算演算子の不正な持ち上げ（EMI Bug #30935）を含むバグでは、修正パッチが非定数除数の除算の持ち上げを無効化することでリスクを低減したが、発生頻度が低いためバグの影響は依然として低かった。
• ユーザー報告および形式的検証済みバグは、発動率が低く、テスト障害も1件のみであったため、fuzzerが発見したバグと比べて実世界への影響が顕著に高くないことが示された。
• 構文的変更がバイナリに見られたものの、大多数のバグは実行差異を引き起こさなかった。これは、変更が意味的に無害であるか、非常に特定の実行時条件を満たさなければ現れないためである。