[論文レビュー] DroidBugs: An Android Benchmark for Automatic Program Repair.

Larissa Azevedo, Altino Dantas+1 more|arXiv (Cornell University)|Sep 19, 2018

Software Testing and Debugging Techniques参考文献 7被引用数 4

ひとこと要約

DroidBugs は、5 つのオープンソース Android アプリ（1 つあたり 5,000 回以上のダウンロード実績）から抽出した 13 個の単一バグを含む、Android モバイル環境における自動プログラム修復（APR）手法の評価を目的とした新しいベンチマークである。Astor4Android および 2 種類の故暲特定戦略を用いた研究により、モバイル固有のバグの検出および修復の難易度が明らかになり、モバイル最適化された APR ツールの必要性が強調された。

ABSTRACT

Automated Program Repair (APR) is an emerging research field. Many APR techniques, for different programming language and platforms, have been proposed and evaluated on several Benchmarks. However, for our best knowledge, there not exists a well-defined benchmark based on mobile projects, consequently, there is a gap to leverage APR methods for mobile development. Therefore, regarding the amount of Android Applications around the world, we present DroidBugs, an introductory benchmark based on the analyzes of 360 open projects for Android, each of them with more than 5,000 downloads. From five applications, DroidBugs contains 13 single-bugs classified by the type of test that exposed them. By using an APR tool, called Astor4Android, and two common Fault Localization strategy, it was observed how challenging is to find and fix mobile bugs.

研究の動機と目的

• Android アプリケーションにおける自動プログラム修復（APR）手法を評価するための標準化されたベンチマークの不足に対処すること。
• 生産用の高品質な Android プロジェクトにおける実世界のバグを特定・分類し、APR 研究を支援すること。
• 既存の APR ツールおよび故暲特定戦略をモバイルソフトウェアに適用する際の実行可能性と難易度を評価すること。
• 明確で再現可能であり、将来的な研究の基盤となる、モバイル固有のプログラム修復のためのベンチマークを提供すること。

提案手法

• 5,000 回以上のダウンロード実績がある 360 個のオープンソース Android プロジェクトを分析し、ベンチマークの候補となるアプリケーションを特定した。
• 人気とコードベースの安定性を基準に、5 つの代表的な Android アプリケーションを選定し、DroidBugs に含めた。
• 選定されたアプリケーション内で 13 個の個別のバグを特定・分類し、各バグを発見したテストの種別によって分類した。
• 特定されたバグに対して、Astor4Android ツールを用いて自動的にパッチを生成した。
• 修復プロセスを支援し、故暲特定の精度を評価するために、2 種類の一般的な故暲特定戦略を採用した。
• 実際のコードベースと実際のバグを用いて、モバイルアプリケーションの文脈における APR 技法の有効性を評価した。

実験結果

リサーチクエスチョン

• RQ1 既存の APR 技法は、実世界の Android アプリケーションにおけるバグの検出および修復にどの程度効果的か？
• RQ2 標準的な故暲特定戦略を用いた場合、Android アプリケーションにおけるバグの特定および修復の難易度はどの程度か？
• RQ3 Astor4Android などの現在の APR ツールが、モバイル固有のバグに対して正しくパッチを生成できる範囲はどの程度か？
• RQ4 抽出されたバグは、実世界の Android 開発の複雑さをどの程度代表しており、挑戦的か？

主な発見

• ベンチマークには、5 つの人気のある Android アプリ（1 つあたり 5,000 回以上のダウンロード実績）から抽出した 13 個の明確に定義された単一バグが含まれている。
• DroidBugs ベンチマークに Astor4Android を適用した結果、正しくパッチを生成する上で顕著な課題が明らかになった。これは、モバイル固有の修復が困難であることを示している。
• 2 種類の故暲特定戦略を適用したが、Android プロジェクトにおける正確な不具合コードの特定にその有効性が限定的であった。これは、モバイルコードベースの複雑さを示している。
• 結果から、現在の APR 技法が実際の Android プロジェクトに適用される際には大きな障壁に直面することが明らかになった。これにより、モバイル最適化された修復アプローチの必要性が強調された。
• 本研究は、既存のベンチマークがモバイル文脈における APR 評価には不十分であることを確認した。これにより、DroidBugs がターゲットを絞った解決策としての必要性が裏付けられた。
• ベンチマークは拡張可能かつ再現可能に設計されており、将来的な Android プラットフォームにおける APR ツールの評価および比較を可能にしている。