[論文レビュー] Fine-grained Code Coverage Measurement in Automated Black-box Android Testing

Aleksandr Pilgun, Olga Gadyatskaya+3 more|arXiv (Cornell University)|Dec 27, 2018

Software Testing and Debugging Techniques被引用数 5

ひとこと要約

本稿では、smali形式のダルビンバイトコードをインストルメンテーションすることで、自動化されたブラックボックスAndroidテストにおける細粒度なコードカバレッジ測定を可能にする新規オープンソースツール、ACVToolを提示する。本手法は96.9%のインストルメンテーション成功率を達成し、最小限のランタイムオーバーヘッドを実現しており、Sapienzを用いた大規模な評価を通じて、命令レベルのカバレッジが粗いメトリクス（例：メソッドレベル）よりも故障検出を顕著に向上させることを示している。

ABSTRACT

Today, there are millions of third-party Android applications. Some of these applications are buggy or even malicious. To identify such applications, novel frameworks for automated black-box testing and dynamic analysis are being developed by the Android community, including Google. Code coverage is one of the most common metrics for evaluating effectiveness of these frameworks. Furthermore, code coverage is used as a fitness function for guiding evolutionary and fuzzy testing techniques. However, there are no reliable tools for measuring fine-grained code coverage in black-box Android app testing. We present the Android Code coVerage Tool, ACVTool for short, that instruments Android apps and measures the code coverage in the black-box setting at the class, method and instruction granularities. ACVTool has successfully instrumented 96.9% of apps in our experiments. It introduces a negligible instrumentation time overhead, and its runtime overhead is acceptable for automated testing tools. We show in a large-scale experiment with Sapienz, a state-of-art testing tool, that the fine-grained instruction-level code coverage provided by ACVTool helps to uncover a larger amount of faults than coarser-grained code coverage metrics.

研究の動機と目的

• サードパーティアプリにはソースコードが存在しないため、ブラックボックスAndroidテストにおける信頼性が高く、細粒度なコードカバレッジツールの不足を解消すること。
• 既存ツールの限界（例：36%および65%の低インストルメンテーション成功率、粗い粒度のメトリクス（例：メソッドレベルのみ））を克服すること。
• 任意のテストまたは動的解析フレームワークと互換性を持つ、自己完結的で透明性があり、効率的なインストルメンテーションソリューションを提供すること。
• テストの効果性とフィtness関数のガイドライン向上を目的として、クラス、メソッド、命令レベルでの正確な細粒度カバレッジ測定を可能にすること。
• オープンソース提供と実世界のアプリケーションとの互換性を通じて、Android研究および産業界における広範な採用を支援すること。

提案手法

• ソースコードを必要とせず、Androidアプリのsmali表現（ダルビンバイトコードの人間が読めるアセンブリに近いコード）を変更することで、アプリをインストルメンテーションする。
• 実行時におけるコード実行の追跡を可能にするために、クラス、メソッド、命令レベルにプローブを挿入し、細粒度なカバレッジ収集を実現する。
• レジスタベースの演算や複雑な制御フローといった、低レベルのダルビンバイトコード固有の特徴を処理する独自のインストルメンテーションパイプラインを採用する。
• プローブ挿入の最適化により、実行時のパフォーマンスボトルネックを回避し、最小限のランタイムオーバーヘッドを確保する。
• Sapienzなどの既存のテストフレームワークと統合し、構造的かつ解析可能な形式でカバレッジ情報やクラッシュ情報を報告する。
• マルチデックスや複雑なメソッドシグネチャを含む、ダルビンバイトコードにおけるエッジケースを処理することで、後方互換性と耐障害性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ソースコードにアクセスできない状況下で、ブラックボックスコードカバレッジツールが実世界のAndroidアプリに対して高いインストルメンテーション成功率を達成できるか？
• RQ2 命令レベルのコードカバレッジは、粗い粒度のメトリクス（例：メソッドレベル）と比較して、自動テストの誘導および故障検出においてどのように優れているか？
• RQ3 細粒度なコードカバレッジインストルメンテーションが実Androidアプリにおいて、どの程度のランタイムパフォーランスオーバーヘッドを引き起こすか？
• RQ4 細粒度カバレッジは、進化的およびファズテストフレームワークのフィットネス関数として、どの程度の効果を発揮するか？
• RQ5 ACVToolのインストルメンテーションアプローチは、ELLAs、InsDal、CovDroidなどの既存ツールと比較して、信頼性およびスケーラビリティにおいて優れているか？

主な発見

• 評価において、ACVToolは1,278個の実世界Androidアプリのうち96.9%を正常にインストルメンテーションに成功し、過去のツール（36%および65%）を著しく上回った。
• 本ツールは、インストルメンテーション時間のオーバーヘッドが無視できるほど小さく、実行時のオーバーヘッドも許容範囲内であり、自動テストパイプラインへの統合に実用的である。
• Sapienzを用いた大規模な実験において、ACVToolが提供する命令レベルカバレッジは、粗い粒度のメトリクスよりも多くの故障を発見した。これは、粒度の細かさの重要性を示している。
• ACVToolのsmaliベースのインストルメンテーションアプローチは、JavaやJimpleに変換する手法に依存する代替手法よりも、信頼性と正確性に優れている。後者では多くのアプリで失敗する。
• オープンソースでの提供と既存フレームワークとの互換性のおかげで、ACVToolはElla や BBoxTester のような古くさや利用不能なツールの代替として実現可能である。
• 本研究では、特に進化的およびファズベースのテスト戦略において、細粒度カバレッジが効果的なフィットネス関数設計に不可欠であることが確認された。