[論文レビュー] LeftoverLocals: Listening to LLM Responses Through Leaked GPU Local Memory

Tyler Sorensen, Heidy Khlaaf|arXiv (Cornell University)|Jan 29, 2024

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、Apple、AMD、Qualcomm、ImaginationのGPU上で、プロセスまたはコンテナ境界を越えてGPUのローカルメモリ内の機微なデータ——特にLLMの応答——をリモートで回復可能にするサイドチャnel脆弱性であるLeftoverLocalsを紹介する。最適化されたGPUメモリ領域に残存するデータを悪用することで、著者らはプロトタイプ攻撃を実装し、AMD Radeon RX 7900 XTでは1クエリあたり最大181 MBのLLM出力を高い忠実度で再構築することに成功した。

ABSTRACT

This paper describes LeftoverLocals: a vulnerability that allows data recovery from GPU memory created by another process on Apple, Qualcomm, and AMD GPUs. LeftoverLocals impacts the security posture of GPU applications, with particular significance to LLMs and ML models that run on impacted GPUs. By recovering local memory, an optimized GPU memory region, we built a PoC where an attacker can listen into another user's interactive LLM session (e.g., llama.cpp) across process or container boundaries.

研究の動機と目的

• 共存するプロセスがローカルメモリ領域から機微なデータを回復できる、GPUメモリ管理における新しいサイドチャnel脆弱性を同定および実証すること。
• 特にプライバシーに配慮が必要なLLM推論に向けた、GPUメモリ隔離のセキュリティ的影響を調査すること。
• プロセス終了後に残存するGPUメモリから、完全なLLM出力を回復可能かどうかを評価すること。
• 主要GPUベンダーと協働して責任ある開示を実施し、GPUエコシステム全体におけるより強固なセキュリティ仕様の促進を図ること。
• AI/MLワークロードに特に関連して、形式化された脅威モデルとGPUシステムのきめ細やかなセキュリティテストを提唱すること。

提案手法

• GPUローカルメモリ（使用後もゼロ初期化されない低遅延アクセス最適化領域）に残存するデータを悪用し、プロセス終了後にメモリ領域の残存データを測定すること。
• OpenCL、Vulkan、またはMetalを用いて、被害者プロセスが以前に使用したメモリ位置を読み取るGPUカーネルを起動すること。
• 信号対雑音比を最大化するメモリアクセスパターンを設計し、統計的およびパターンマッチング技術を用いて高忠実度でデータを再構築すること。
• 被害者のLLM推論プロセス（例：llama.cpp）と同一GPU上で実行されるプロトタイプ（PoC）アプリケーションを構築し、漏洩したローカルメモリから出力トークンを回復すること。
• 複数のGPUアーキテクチャ（AMD、Apple M2/A17、Qualcomm、Imagination）を対象に攻撃を検証し、データ回復の正確性と容量を測定すること。
• CERT/CCおよびベンダーと協働して開示を進め、ファームウェアパッチのテストや対策状況の監視を実施すること。

Figure 1 . An example of an LLM response that an attacker was able to reconstruct utilizing LeftoverLocals. The victim terminal is on the left (black background), and the attacker terminal is on the right (white backgroun). We can see that the attacker is able to reconstruct the response with relati

実験結果

リサーチクエスチョン

• RQ1 GPUカーネルの完了後に、共存プロセスがGPUローカルメモリに残存するデータをどの程度回復可能か？
• RQ2 GPUローカルメモリの漏洩から、どの程度のLLM出力データが再構築可能であり、どの程度の忠実度で再構築可能か？
• RQ3 Apple、AMD、Qualcomm、ImaginationのどのGPUアーキテクチャがこの種のメモリ漏洩に対して脆弱であるか？
• RQ4 この脆弱性がプライバシーに配慮が必要な機械学習アプリケーションに及える実用的影響は何か？
• RQ5 現在のGPU仕様およびシステムスタックは、このようなプロセス間メモリ漏洩を防止するためにどの程度効果的か？

主な発見

• AMD Radeon RX 7900 XTでは、1回のGPU呼び出しあたり5.5 MBのローカルメモリ漏洩が原因で、1クエリあたり最大181 MBのLLM応答データが回復可能である。
• プロトタイプ実装では、攻撃者の端末が被害者のインタラクティブなLLMセッションの出力をリアルタイムで再構築する事例が確認され、完全なLLM出力が高忠実度で再構築可能であることが実証された。
• AppleのM2搭載MacBook Airは、一部のデバイス（例：iPad Air 3rd Gen）でパッチが適用されたにもかかわらず依然として脆弱であり、A17およびM3シリーズのみが確認された修正済みである。
• AMDおよびQualcommは、調査およびパッチ適用を継続中であり、Qualcommは一部のデバイスで問題を緩和するファームウェア更新（v2.07）をリリースした。
• Imagination GPUは一部の構成で影響を受けており、全テストモデルで影響を受けるわけではないが、DDK 23.3で修正がリリースされた。
• NVIDIAおよびARM GPUは影響を受けていないと確認された。これは、以前からの強化およびセキュリティ意識の高まりによるものと推定される。

Figure 2 . A simplified view of the GPU architecture: processing elements are partitioned into compute unites. All processing elements have access to global memory (often located in VRAM for discrete GPUs), while only processing elements in the same compute unit share the same local memory.