[논문 리뷰] AndroZoo++: Collecting Millions of Android Apps and Their Metadata for the Research Community

Li Li, Jun Gao외 6명|arXiv (Cornell University)|2017. 09. 15.

Advanced Malware Detection Techniques참고 문헌 22인용 수 69

한 줄 요약

AndroZoo++는 확장 가능하고 최신의, 수백만 개의 Android 앱과 광범위한 메타데이터를 구축하여 확장 가능한 재현 가능한 Android 연구를 지원합니다.

ABSTRACT

We present a growing collection of Android apps collected from several sources, including the official Google Play app market and a growing collection of various metadata of those collected apps aiming at facilitating the Android-relevant research works. Our dataset by far has collected over five million apps and over 20 types of metadata such as VirusTotal reports. Our objective of collecting this dataset is to contribute to ongoing research efforts, as well as to enable new potential research topics on Android Apps. By releasing our app and metadata set to the research community, we also aim at encouraging our fellow researchers to engage in reproducible experiments. This article will be continuously updated based on the growing apps and metadata collected in the AndroZoo project. If you have specific metadata that you want to collect from AndroZoo and which are not yet provided by far, please let us know. We will thereby prioritise it in our collecting process so as to provide it to our fellow researchers in a short manner.

연구 동기 및 목표

• 연구 용도를 위한 다수의 마켓에서 최신의 대규모 Android 앱 모음을 제공합니다.
• 연구원이 관련 앱을 사전에 선별하고 다운로드 비용을 줄이는 데 도움이 되는 광범위한 메타데이터를 제공합니다.
• 연구 커뮤니티와 앱 및 메타데이터를 공유하여 재현 가능한 실험을 촉진합니다.
• 보안, 진화, 악성코드 분석을 포함한 다양한 연구 주제를 지원합니다.
• 추가 메타데이터 요구에 대한 피드백을 수집하여 커뮤니티 주도형 개선을 장려합니다.

제안 방법

• 마켓 인프라에 대한 부하를 최소화하면서 여러 마켓에서 Android 앱을 수집하기 위한 전용 크롤러를 개발합니다.
• APK를 보관하기 전에 각 마켓 내에서 로컬로 수행되는 마켓별 중복 제거를 구현하고 SHA256 체크섬을 계산합니다.
• 해시, 크기, 마켓 원천, 매니페스트에서 파생된 필드, 보안 보고서를 포함하여 각 APK에 풍부한 메타데이터를 첨부합니다.
• 매니페스트, DEX, 출시 정보로부터 메타데이터 아티팩트를 계산하고 공개하여 전체 다운로드 없이도 사전 선별과 분석을 가능하게 합니다.
• 보안 관련 보고서(VirusTotal, AndroBugs)와 기타 고급 메타데이터(피기백 페어, 라이브러리, 앱 계보)를 수집하여 보안 및 진화 연구를 돕습니다.
• 연구자가 추가 메타데이터를 요청할 수 있는 메커니즘을 제공하여 향후 수집 우선순위를 사용자 요구에 맞춰 안내할 수 있도록 합니다.

실험 결과

연구 질문

• RQ1 다양한 마켓에서 어떻게 수집하되 마켓 인프라에 영향을 최소화할 수 있을까?
• RQ2 APK 파일 외에 어떤 메타데이터가 Android 앱의 사전 선별, 필터링 및 재현 가능한 분석을 가장 잘 지원하는가?
• RQ3 수집된 데이터가 코드 분석, 진화 및 악성코드 중심 연구를 대규모로 어떻게 가능하게 하는가?
• RQ4 이런 데이터 세트를 사용해 앱 계보, 피기백 페어, 일반 라이브러리에 대해 어떤 통찰을 얻을 수 있는가?

주요 결과

• 데이터세트는 지금까지 five million개의 앱과 20종 이상의 메타데이터를 수집한 것으로 성장했습니다.
• 메타데이터 카탈로그에는 APK, 매니페스트, DEX, 출시 정보, 보안 보고서 등 24개 항목이 포함되어 있습니다.
• 포함된 앱에 대해 생성된 VirusTotal 보고서 및 AndroBugs 보고서를 통해 보안 분석이 촉진됩니다.
• 데이터세트는 수천 개의 가족 및 다버전 이력을 가진 앱 계보와 패밀리 변종의 탐색을 가능하게 합니다.
• 피기백 페어, 일반/광고 라이브러리, 앱 계보 데이터는 악성코드, 리패키징 및 진화 연구에 대한 통찰을 제공합니다.
• AndroZoo 프로젝트는 데이터를 제공하고 연구자로부터 메타데이터 요청을 수집하여 재현성과 커뮤니티 참여를 강조합니다.