[論文レビュー] Shape and Substance: Dual-Layer Side-Channel Attacks on Local Vision-Language Models

Eyal Hadad, Mordechai Guri|arXiv (Cornell University)|Mar 26, 2026

Security and Verification in Computing被引用数 0

ひとこと要約

この論文は、動的前処理を伴うデバイス上の Vision-Language Models における入力依存の二重層サイドチャネル漏洩を明らかにし、タイミングとキャッシュ信号からジオメトリ（アスペクト比）および意味内容を推測可能であることを示し、対策と設計案を論じる。

ABSTRACT

On-device Vision-Language Models (VLMs) promise data privacy via local execution. However, we show that the architectural shift toward Dynamic High-Resolution preprocessing (e.g., AnyRes) introduces an inherent algorithmic side-channel. Unlike static models, dynamic preprocessing decomposes images into a variable number of patches based on their aspect ratio, creating workload-dependent inputs. We demonstrate a dual-layer attack framework against local VLMs. In Tier 1, an unprivileged attacker can exploit significant execution-time variations using standard unprivileged OS metrics to reliably fingerprint the input's geometry. In Tier 2, by profiling Last-Level Cache (LLC) contention, the attacker can resolve semantic ambiguity within identical geometries, distinguishing between visually dense (e.g., medical X-rays) and sparse (e.g., text documents) content. By evaluating state-of-the-art models such as LLaVA-NeXT and Qwen2-VL, we show that combining these signals enables reliable inference of privacy-sensitive contexts. Finally, we analyze the security engineering trade-offs of mitigating this vulnerability, reveal substantial performance overhead with constant-work padding, and propose practical design recommendations for secure Edge AI deployments.

研究の動機と目的

• 動的な高解像度前処理（AnyRes）がローカル VLM に入力依存のワークロードを作り出し、サイドチャネル漏洩を可能にすることを示す。
• タイミングから画像ジオメトリを推測し、LLC キャッシュ競合を用いて意味内容を解決する二層の攻撃を実演する。
• モデル（LLaVA-NeXT, Qwen2-VL）とハードウェア間での漏洩を評価し、プライバシーリスクを評価する。
• 緩和策のセキュリティ上のトレードオフを分析し、実用的な安全な Edge AI 設計推奨を提案する。

提案手法

• ローカル VLM および AnyRes 動的前処理パイプラインのモデルアーキテクチャ分析。
• 階層1：特権なしでも入力のジオメトリ（アスペクト比）を粗いタイミングで推定する二層攻撃フレームワーク。
• 階層2：LLC キャッシュ競合プロファイリングを用いて画像内容の意味密度を推定する。
• llama.cpp と perf ベースの測定を用いたインテルおよび AMD ハードウェアでの実験環境。
• ジオメトリベンチマーク（1:1 対 1:2）と意味ベンチマーク（高密度対 低密度 content）を含むデータセット設計。
• 実行時間と LLC ミスの二次元特徴量を組み合わせ、内容を分類する。

実験結果

リサーチクエスチョン

• RQ1 ローカル VLM の動的前処理はアルゴリズム的サイドチャネルとして利用可能か。
• RQ2 特権のない同居攻撃者はタイミング信号から入力ジオメトリを推測できる程度はどの程度か。
• RQ3 同じジオメトリ内で LLC ミスは意味内容を表現できるようなマイクロアーキテクチャ信号を示すか。
• RQ4 異なるモデルとアーキテクチャ間でタイミングとキャッシュの組み合わせ攻撃はどれくらい効果的か。
• RQ5 どの緩和策がオーバーヘッドを課し、どの設計推奨が Secure Edge AI 展開を改善するか。

主な発見

• 動的前処理はデータ入力をアスペクト比で分ける決定論的なタイミング信号を導入する。
• 同じジオメトリ内でも LLC ミスは視覚密度と相関し、第二層で意味推定を可能にする。
• 組み合わせ攻撃は全体精度 84.0%、暗号化データと胸部X線画像ではリコールが完全またはほぼ完全（1.00 および 0.93）を達成。
• モデル横断の結果は LLaVA v1.6, v1.5, Qwen2-VL でタイミングベースのジオメトリ漏洩が継続することを示し、根本原因は動的前処理にあり、重みの違いではない。
• アーキテクチャ横断の結果、ジオメトリ信号は Intel/AMD プラットフォームで残る一方、キャッシュベースの意味信号は LLC サイズにより変化し、AMD で意味信号が低下する。
• この攻撃はデバイス上の VLM に対するプライバシーリスクを示すとともに、一定のワークロードを前提とする緩和策（一定作業パディング）に対しては顕著なパフォーマンスオーバーヘッドをもたらすことを強調する。