[論文レビュー] Mind Your Weight(s): A Large-scale Study on Insufficient Machine Learning Model Protection in Mobile Apps

Zhichuang Sun, Ruimin Sun+2 more|arXiv (Cornell University)|Feb 18, 2020

Advanced Malware Detection Techniques参考文献 27被引用数 26

ひとこと要約

本大規模な研究では、46,753個のAndroidアプリにおいて機械学習モデル保護の状況を分析した結果、ML対応アプリの41％がモデルを平文で保存していることが判明した。また、暗号化されたモデルの66％が、単純な動的解析によって抽出可能であることも明らかになった。本研究では、モデル盗難に対する広範な脆弱性が明らかとなり、深刻な財務的・セキュリティ的影響を及ぼすことが示された。今後、デバイス内でのモデル保護を強化する仕組みの構築が急務である。

ABSTRACT

On-device machine learning (ML) is quickly gaining popularity among mobile apps. It allows offline model inference while preserving user privacy. However, ML models, considered as core intellectual properties of model owners, are now stored on billions of untrusted devices and subject to potential thefts. Leaked models can cause both severe financial loss and security consequences. This paper presents the first empirical study of ML model protection on mobile devices. Our study aims to answer three open questions with quantitative evidence: How widely is model protection used in apps? How robust are existing model protection techniques? What impacts can (stolen) models incur? To that end, we built a simple app analysis pipeline and analyzed 46,753 popular apps collected from the US and Chinese app markets. We identified 1,468 ML apps spanning all popular app categories. We found that, alarmingly, 41% of ML apps do not protect their models at all, which can be trivially stolen from app packages. Even for those apps that use model protection or encryption, we were able to extract the models from 66% of them via unsophisticated dynamic analysis techniques. The extracted models are mostly commercial products and used for face recognition, liveness detection, ID/bank card recognition, and malware detection. We quantitatively estimated the potential financial and security impact of a leaked model, which can amount to millions of dollars for different stakeholders. Our study reveals that on-device models are currently at high risk of being leaked; attackers are highly motivated to steal such models. Drawn from our large-scale study, we report our insights into this emerging security problem and discuss the technical challenges, hoping to inspire future research on robust and practical model protection for mobile devices.

研究の動機と目的

• 米国および中国市場における人気のモバイルアプリにおける機械学習モデル保護の普及状況を調査すること。
• 未熟練の攻撃者による動的解析攻撃に対して、現在のモデル保護技術の耐性を評価すること。
• モデルが盗まれた場合、ベンダーおよび攻撃者に及ぼされる財務的・セキュリティ的影響を定量的に評価すること。
• モバイルプラットフォーム向けに、標準的かつ実用的で、かつ強固なモデル保護メカニズムの導入が急務であることを強調すること。

提案手法

• Androidアプリパッケージ内におけるMLフレームワークおよびモデル使用の検出を自動化した静的解析パイプラインを構築した。
• 米国および中国のアプリマーケットから収集した46,753個の人気アプリのデータセットから、1,468個のML対応アプリを特定した。
• メモリのインストルメント化を用いた動的解析により、実行中のアプリから復号済みモデルを抽出した。
• 共有されるモデルファイルとその展開パターンを特定することで、複数のアプリにおけるモデルの再利用を追跡した。
• 逆アセンブルおよび実行時メモリの調査を適用し、暗号化済みモデルでも抽出を可能にした。
• 研究開発コスト、市場競争、敵対的回避リスクに基づき、財務的およびセキュリティ的影響の分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 オンデバイスでの機械学習を実行するモバイルアプリにおいて、モデル保護はどの程度広く採用されているか？
• RQ2 未熟練の攻撃者による動的メモリ抽出攻撃に対して、現在のモデル保護メカニズムはどれほど耐性があるか？
• RQ3 モデル漏洩が攻撃者およびモデルベンダーに及ぼす財務的・セキュリティ的影響は何か？

主な発見

• 分析対象の1,468個のML対応アプリのうち41％は、モデルをまったく保護しておらず、アプリパッケージ内に平文で保存している。
• 暗号化を用いているアプリにおいても、66％のモデルが基本的な動的解析手法により実行時メモリから抽出可能である。
• 合計18個の独自モデルが抽出され、347個の異なるアプリで共有されていることが判明し、保護されたモデルの広範な再利用が確認された。
• 複数の暗号化レイヤーやオブスクリューション技術を用いて保護されたモデルですら、メモリから平文で正常に抽出可能であった。
• 研究開発投資の損失および競争優位性の喪失により、モデル漏洩による財務的影響は数百万ドルに達する可能性がある。
• 盗まれたモデルは、顔認識やライブネス検出を回避する敵対的攻撃を可能にし、深刻なセキュリティリスクを引き起こす。