[論文レビュー] Discovering Flaws in Security-Focused Static Analysis Tools for Android using Systematic Mutation

Richard Bonett, Kaushal Kafle+3 more|arXiv (Cornell University)|Jun 25, 2018

Advanced Malware Detection Techniques参考文献 68被引用数 14

ひとこと要約

本論文は、セキュリティ関連のコード変異を注入することで、Android静的解析ツールにおける文書化されていない不正確な設計上の欠陥を体系的に特定するための変異ベースの整合性評価（μSE）フレームワークを提案する。データ漏洩検出ツールにμSEを適用した結果、主要なツールに13の隠れた欠陥が発覚し、これらはすべて依存ツールへと伝播していた。そのうち1つの欠陥は開発者と協働して正常に修正された。

ABSTRACT

Mobile application security has been one of the major areas of security research in the last decade. Numerous application analysis tools have been proposed in response to malicious, curious, or vulnerable apps. However, existing tools, and specifically, static analysis tools, trade soundness of the analysis for precision and performance, and are hence soundy. Unfortunately, the specific unsound choices or flaws in the design of these tools are often not known or well-documented, leading to a misplaced confidence among researchers, developers, and users. This paper proposes the Mutation-based soundness evaluation ($\\mu$SE) framework, which systematically evaluates Android static analysis tools to discover, document, and fix, flaws, by leveraging the well-founded practice of mutation analysis. We implement $\\mu$SE as a semi-automated framework, and apply it to a set of prominent Android static analysis tools that detect private data leaks in apps. As the result of an in-depth analysis of one of the major tools, we discover 13 undocumented flaws. More importantly, we discover that all 13 flaws propagate to tools that inherit the flawed tool. We successfully fix one of the flaws in cooperation with the tool developers. Our results motivate the urgent need for systematic discovery and documentation of unsound choices in soundy tools, and demonstrate the opportunities in leveraging mutation testing in achieving this goal.

研究の動機と目的

• Android向けセキュリティ指向静的解析ツールにおける不正確な設計選択の体系的評価の欠如に対処すること。
• 静的解析ツールの整合性を損なう、広く使われているツールに文書化されていない欠陥を特定・記録すること。
• 1つのツールにおける設計上の欠陥が、その論理を継承する他のツールへと伝播する仕組みを示すこと。
• 研究者や開発者がこうした欠陥を検出・分析・修正できるようにする、部分自動化されたフレームワークを提供すること。
• ソフトウェア工学における変異テストを活用することで、静的解析ツールの透明性と強固性を高めること。

提案手法

• μSEフレームワークは、特定の分析目的（例：個人情報漏洩の検出、SSL脆弱性の検出）に特化したセキュリティオペレータを生成する。
• これらのオペレータは実際のAndroidアプリケーションに挿入され、意図しない動作を表すミューテントが生成される。
• 動的実行エンジン（EE）を用いて、どのミューテントが実行可能かを特定し、それらが対象ツールによって検出可能であるべきかを判断する。
• 静的解析ツールによって検出されないミューテントは、ツールの設計に内在する欠陥を特定するための手動分析の対象となる。
• 非実行可能なミューテントをフィルタリングすることで、アナリストの作業負荷を低減する部分自動化ワークフローをフレームワークが採用する。
• 本手法は、FlowDroid や IccTA といった代表的な静的解析ツールを対象に、データ漏洩検出用途にμSEを適用することで検証された。

実験結果

リサーチクエスチョン

• RQ1 Android向けセキュリティ指向静的解析ツールに、文書化されていない不正確な設計選択がどのような種類で存在するか？
• RQ2 1つの静的解析ツールにおける欠陥が、その論理を再利用または継承する他のツールへとどのように伝播するか？
• RQ3 変異解析を、Androidセキュリティ文脈における静的解析ツールの整合性を体系的に評価する目的に効果的に適応できるか？
• RQ4 μSEフレームワークは、従来のテスト手法が見逃す欠陥をどの程度検出・暴露できるか？
• RQ5 このフレームワークは、ツールの透明性を向上させるとともに、発見された欠陥の修正を支援するためのガイドラインとしてどのように活用できるか？

主な発見

• μSEフレームワークは、個人情報漏洩検出を目的とした広く使われているオープンソースAndroid静的解析ツールに、13の文書化されていない欠陥を効果的に特定した。
• その13の欠陥すべてが、欠陥を有するツールの論理を継承する他のツールへと伝播しており、エコシステム全体にシステム的リスクが存在することを示している。
• 発見された欠陥の1つが、ツール開発者と協働して正常に修正された。これは、フレームワークの実用的価値を裏付けるものである。
• 本研究では、静的解析ツールにおける多くの不正確な設計選択が、文書化されておらず、ツール開発者自身にも認識されていないことが明らかになった。これは、誤った正確性への過剰な信頼を生む要因となっている。
• 動的かつ自動的に非実行可能なミューテントを除外することで、フレームワークは手作業の作業負荷を顕著に低減し、検出されないミューテントの効率的分析を可能にした。
• 結果から、静的解析ツールの信頼性とセキュリティを向上させるために、不正確な選択肢の体系的評価と文書化が、今後急務であることが強調された。