[논문 리뷰] AndroVault: Constructing Knowledge Graph from Millions of Android Apps for Automated Analysis

Guozhu Meng, Yinxing Xue외 4명|arXiv (Cornell University)|2017. 11. 20.

Advanced Malware Detection Techniques참고 문헌 36인용 수 16

한 줄 요약

AndroVault은 정적 및 동적 분석을 통합하여 수백만 개의 안드로이드 앱에서 36개의 앱 속성을 추출하고 의미 관계를 유추함으로써 대규모 지식 그래프를 구축하는 확장 가능한 프레임워크입니다. 논리적 추론과 기계 학습을 활용하여 그래프에서 재사용 가능한 사실을 추출함으로써 악성코드 탐지, 앱 테스팅, 취약성 분석과 같은 연구 작업을 위한 자동화된 고정밀도 데이터 정제를 가능하게 합니다.

ABSTRACT

Data driven research on Android has gained a great momentum these years. The abundance of data facilitates knowledge learning, however, also increases the difficulty of data preprocessing. Therefore, it is non-trivial to prepare a demanding and accurate set of data for research. In this work, we put forward AndroVault, a framework for the Android research composing of data collection, knowledge representation and knowledge extraction. It has started with a long-running web crawler for data collection (both apps and description) since 2013, which guarantees the timeliness of data; With static analysis and dynamic analysis of the collected data, we compute a variety of attributes to characterize Android apps. After that, we employ a knowledge graph to connect all these apps by computing their correlation in terms of attributes; Last, we leverage multiple technologies such as logical inference, machine learning, and correlation analysis to extract facts (more accurate and demanding, either high level or not, data) that are beneficial for a specific research problem. With the produced data of high quality, we have successfully conducted many research works including malware detection, code generation, and Android testing. We would like to release our data to the research community in an authenticated manner, and encourage them to conduct productive research.

연구 동기 및 목표

• 대규모 연구를 위한 고품질, 최신, 대표성 있는 안드로이드 앱 데이터셋 확보의 과제를 해결합니다.
• 수백만 개의 앱에 걸쳐 기능 추출 및 상관관계 모델링을 자동화하여 데이터 전처리 부담을 줄입니다.
• 지식 그래프 구축을 통해 원시 앱 데이터를 구조화되고 의미적으로 풍부한 사실로 변환함으로써 효율적이고 정확한 연구를 가능하게 합니다.
• 악성코드 탐지, 앱 테스팅, 취약성 분석과 같은 다양한 연구 작업을 지원하기 위해 정제된 고정밀도 데이터 서브셋을 제공합니다.
• 새로운 앱 컬렉션, 속성, 분석 기능에 따라 지속적으로 확장 가능한 데이터 인프라를 구축합니다.

제안 방법

• 2013년부터 지속적으로 작동하는 웹 크롤러를 운영하여 다양한 소스에서 안드로이드 앱과 메타데이터를 수집함으로써 데이터의 최신성 확보합니다.
• 정적 및 동적 분석을 적용하여 앱의 동작, 권한, 코드 구조, 통신 패턴을 특징짓는 36개의 다양한 속성 계산합니다.
• 속성 유사성과 유추된 관계(예: 인텐트 기반의 앱 간 통신)를 기반으로 앱을 연결하여 종합적인 지식 그래프를 구축합니다.
• 논리적 추론, 기계 학습, 상관관계 분석을 활용하여 그래프에서 고차원적 사실(예: 피겨백킹 또는 공모 공격 지표)을 추출합니다.
• 지식 그래프를 활용해 데이터 탐색과 필터링을 가속화하여 연구자가 특정 작업에 적합한 소규모이고 관련성 있고 정확한 데이터셋을 쉽게 추출할 수 있도록 합니다.
• 지속적으로 새로운 속성, 관계, 동적 실행 트레이스를 추가하여 연구 요구사항의 변화에 대응할 수 있도록 시스템을 확장합니다.

실험 결과

연구 질문

• RQ1 수백만 개의 안드로이드 앱에서 지속적으로 업데이트되는 대규모 지식 그래프를 어떻게 구축할 수 있을까요? 이는 자동화된 연구를 지원하기 위한 것입니다.
• RQ2 악성코드 탐지 및 분석의 정확성과 효율성을 향상시키기 위해 앱 간 자동으로 추출할 수 있는 속성과 관계는 무엇일까요?
• RQ3 논리적 추론과 기계 학습을 통해 앱 메타데이터와 동작에서 고차원적이고 재사용 가능한 사실(예: 피겨백킹 또는 공모 공격)을 얼마나 잘 추출할 수 있을까요?
• RQ4 정적, 동적, 의미 분석의 통합은 전통적인 데이터 수집 방법에 비해 데이터 품질과 연구 생산성에 어떤 영향을 미칠까요?
• RQ5 지식 그래프 프레임워크는 취약성 탐지 및 자동 악성 코드 생성과 같은 새로운 연구 분야를 지원하기 위해 확장될 수 있을까요?

주요 결과

• 2013년 이래로 AndroVault은 500만 개 이상의 안드로이드 앱을 수집하고 처리했으며, 지속적인 데이터 수신과 속성 계산을 수행하고 있습니다.
• 이 프레임워크는 각 앱에서 36개의 다양한 속성을 성공적으로 추출하여 앱의 동작, 권한, 통신 패턴을 세밀하게 특징지웠습니다.
• 의미 관계를 포함한 지식 그래프를 구축함으로써 AndroVault은 피겨백킹이나 공모 공격에 관여한 앱과 같은 관련 앱을 효율적으로 탐색할 수 있게 되었습니다.
• 이 시스템은 악성코드 탐지, 안드로이드 앱 테스팅, 취약성 탐지 등의 여러 연구 프로젝트를 주도하며 실제 연구 환경에서의 유용성을 입증했습니다.
• AndroVault은 수백만 개의 앱에서 수동 전처리 최소화로도 소규모 고품질 데이터셋(예: 피겨백킹 분석용)을 연구자가 쉽게 추출할 수 있도록 했습니다.
• 이 프레임워크는 확장 가능하며, 향후 동적 실행 트레이스, 네이티브 코드 분석, 앱 설명과 동작 간 의미 일관성 검증 기능을 통합할 계획이 있습니다.