[論文レビュー] StoryDroid: Automated Generation of Storyboard for Android Apps

Sen Chen, Lingling Fan+5 more|arXiv (Cornell University)|Feb 1, 2019

Advanced Malware Detection Techniques参考文献 38被引用数 7

ひとこと要約

StoryDroid は、Android アプリのアクティビティ遷移グラフを抽出し、静的および動的レイアウトコードからUIページをレンダリングし、難読化されたアクティビティの意味的名前を推定することで、Android アプリの視覚的ストーリーボードを自動生成するシステムです。このシステムにより、プロダクトマネージャーやデザイナー、開発者がUI画面とその実装コードを結びつけることができ、アプリの探索やインスピレーション収集が著しく効率化されます。

ABSTRACT

Mobile apps are now ubiquitous. Before developing a new app, the development team usually endeavors painstaking efforts to review many existing apps with similar purposes. The review process is crucial in the sense that it reduces market risks and provides inspiration for app development. However, manual exploration of hundreds of existing apps by different roles (e.g., product manager, UI/UX designer, developer) in a development team can be ineffective. For example, it is difficult to completely explore all the functionalities of the app in a short period of time. Inspired by the conception of storyboard in movie production, we propose a system, StoryDroid, to automatically generate the storyboard for Android apps, and assist different roles to review apps efficiently. Specifically, StoryDroid extracts the activity transition graph and leverages static analysis techniques to render UI pages to visualize the storyboard with the rendered pages. The mapping relations between UI pages and the corresponding implementation code (e.g., layout code, activity code, and method hierarchy) are also provided to users. Our comprehensive experiments unveil that StoryDroid is effective and indeed useful to assist app development. The outputs of StoryDroid enable several potential applications, such as the recommendation of UI design and layout code.

研究の動機と目的

• 競合分析の際、数百もの類似アプリを手作業で探索する非効率性を解消すること。
• 複雑なアプリのリバースエンジニアリングにおける課題、特に不完全なアクティビティ遷移グラフや難読化されたアクティビティ名の問題を克服すること。
• 異なるステークホルダー向けに、アプリの挙動、UIレイアウト、実装コードを統合的に可視化すること。
• 既存アプリの理解をより迅速かつ体系的に行い、機能のインスピレーションや実装のガイダンスを得ることを可能にすること。
• 大規模なストーリーボードデータベースを活用して、UIデザインやコード再利用の推薦システムの開発を支援すること。

提案手法

• 静的解析を用いてAPKからアクティビティ遷移グラフ（ATG）を抽出し、フラグメントや内部クラス内の遷移を含めることで、完全性を向上させる。
• 静的レイアウトファイルと動的に抽出されたコンポONENTを組み合わせることでUIページをレンダリングし、各画面の視覚的表現を可能にする。
• 4,426個のオープンソースアプリのデータベースと比較することで、レイアウト階層を基に難読化されたアクティビティ名に対して意味的で適切な名前を推定する。
• 各レンダリング済みUIページを、レイアウトファイル、アクティビティコード、メソッド呼び出し階層など、対応する実装コードにマッピングする。
• 静的および実行時レンダリングされたUI要素の両方をカバーするため、ハイブリッドな静的・動的解析アプローチを採用する。
• アプリの挙動（ATG）、視覚的UI、ソースコードをリンクする包括的なアプリ理解フレームワークを構築し、役割横断的な分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 リバースエンジニアリングされたAPKから、完全で意味的意味を持つストーリーボードを自動生成できるか？
• RQ2 静的解析は、動的UIレンダリングが存在する状況においても、アクティビティ遷移およびUIコンポONENTを効果的に抽出できるか？
• RQ3 大規模なオープンソースアプリデータベースとレイアウト階層を比較することで、難読化されたアクティビティ名に対してどれほど正確に意味的名前を推定できるか？
• RQ4 生成されたストーリーボードは、プロダクトマネージャー、UI/UXデザイナー、開発者による競合分析においてどれほど有用か？
• RQ5 大規模なストーリーボードデータベースは、UIデザインや実装コードの推薦において、実用的な応用が可能か？

主な発見

• StoryDroid は、フラグメントや内部クラスを含む複雑なアプリに対しても、高い完全性でアクティビティ遷移グラフを抽出・可視化することに成功している。
• 静的レイアウトファイルと動的に抽出されたコンポONENTを組み合わせることで、効果的なUIレンダリングが実現され、各画面の正確な視覚的表現が保証されている。
• レイアウト階層の比較に基づく意味的名前推定により、難読化されたアクティビティ名の理解度が著しく向上し、非技術的ステークホルダーの使いやすさが向上している。
• ユーザースタディの結果、StoryDroid を用いることで、手作業でのレビューに比べて、特に機能発見やナビゲーションの理解において、より迅速かつ効果的な競合アプリの探索が可能であることが確認された。
• システムの出力は、UIレイアウトやコードパターンの推薦といった実用的応用をサポートしており、アプリ開発パイプラインへの統合の可能性を示している。
• 動的解析のみに依存する手法に比べ、カバレッジが高く、既存のツールに比べて実行が必要ないか、またはオープンソースアプリに限定されるものよりスケーラブルである。