[论文解读] An Empirical Study of AI Techniques in Mobile Applications

Yinghua Li, Xueqi Dang+6 more|arXiv (Cornell University)|Dec 3, 2022

Privacy, Security, and Data Protection被引用 8

一句话总结

这项大规模实证研究利用自动化工具 AI Discriminator 分析了 56,682 款基于 AI 的移动应用，探究数据集特征、开发挑战及用户隐私问题。研究揭示了模型保护措施普遍不足，以及对敏感用户数据的高风险处理，凸显了现实世界中 AI 移动应用在安全与隐私方面存在关键缺口。

ABSTRACT

The integration of artificial intelligence (AI) into mobile applications has significantly transformed various domains, enhancing user experiences and providing personalized services through advanced machine learning (ML) and deep learning (DL) technologies. AI-driven mobile apps typically refer to applications that leverage ML/DL technologies to perform key tasks such as image recognition and natural language processing. In this paper, we conducted the most extensive empirical study on AI applications, exploring on-device ML apps, on-device DL apps, and AI service-supported (cloud-based) apps. Our study encompasses 56,682 real-world AI applications, focusing on three crucial perspectives: 1) Application analysis, where we analyze the popularity of AI apps and investigate the update states of AI apps; 2) Framework and model analysis, where we analyze AI framework usage and AI model protection; 3) User analysis, where we examine user privacy protection and user review attitudes. Our study has strong implications for AI app developers, users, and AI R\&D. On one hand, our findings highlight the growing trend of AI integration in mobile applications, demonstrating the widespread adoption of various AI frameworks and models. On the other hand, our findings emphasize the need for robust model protection to enhance app security. Additionally, our study highlights the importance of user privacy and presents user attitudes towards the AI technologies utilized in current AI apps. We provide our AI app dataset (currently the most extensive AI app dataset) as an open-source resource for future research on AI technologies utilized in mobile applications.

研究动机与目标

• 理解 AI 驱动的移动应用在各类别、框架及更新模式下的真实世界生态。
• 识别 AI 应用开发中的关键技术和安全挑战，特别是模型保护与隐私方面的问题。
• 通过分析用户反馈和隐私政策，评估用户对 AI 应用的信任度以及其数据处理实践。
• 为开发者、研究人员及利益相关方提供可操作的见解，以提升移动 AI 应用的安全性、性能与用户体验。

提出的方法

• 开发了 AI Discriminator，一种结合应用逆向分析与关键词匹配的自动化工具，从 AndroZoo 数据库中的 726 万款移动应用中识别 AI 应用。
• 收集并分析了 56,682 款真实世界 AI 应用的数据集，重点关注应用类别、技术框架、更新频率以及模型部署模式（本地设备 vs. 云端）。
• 对模型保护机制进行了技术分析，评估嵌入式 AI 模型中混淆与加密技术的实施情况。
• 分析用户评论，评估用户对 AI 功能及技术性能（尤其是准确性问题）的反馈态度。
• 审查 AI 应用的隐私政策，评估其对敏感用户数据的访问权限及数据处理实践。
• 开源了 AI Discriminator 工具、56,682 款 AI 应用的数据集以及所有实验脚本，以确保可复现性。

实验结果

研究问题

• RQ1 在真实世界 AI 移动应用中，主导的应用类别、技术框架及更新模式是什么？
• RQ2 本地设备上的 AI 模型在防止逆向工程和未经授权提取方面保护得如何？
• RQ3 AI 应用在隐私政策中访问并披露敏感用户数据的程度如何？
• RQ4 用户评论如何反映用户对 AI 功能的认知，特别是关于准确性与性能方面的看法？
• RQ5 在隐私与性能方面，本地部署与云端推理的 AI 推理之间存在哪些权衡？

主要发现

• 仅有约三分之一的本地 AI 模型进行了混淆处理，且不足五分之一的模型进行了加密，表明模型保护措施普遍缺失。
• 大量 AI 应用访问敏感用户数据（如位置、联系人和摄像头），引发严重的隐私担忧。
• 涉及 AI 功能技术细节的用户评论比非技术性评论更积极，但准确性仍是首要关注点。
• 已发布应用中的 AI 模型很少更新，表明维护不善，可能存在技术债务。
• 尽管存在如 TensorFlow 和 PyTorch 等成熟的 AI 框架，但模型保护机制在各类应用中应用不一致。
• 许多应用复用公开模型而未采取充分保护措施，增加了知识产权被盗及模型反演攻击的风险。