[論文レビュー] Cracking IoT Security: Can LLMs Outsmart Static Analysis Tools?

Jason Quantrill, N. Khajehnouri+2 more|arXiv (Cornell University)|Jan 2, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

本論文は、大規模言語モデル（LLM）を用いて openHAB TAC ルールにおけるルール間相互作用の脅威（RIT）を検出する能力を評価し、記号的静的解析と比較し、検出精度を向上させつつ再現性を維持するハイブリッドワークフローを提案する。

ABSTRACT

Smart home IoT platforms such as openHAB rely on Trigger Action Condition (TAC) rules to automate device behavior, but the interplay among these rules can give rise to interaction threats, unintended or unsafe behaviors emerging from implicit dependencies, conflicting triggers, or overlapping conditions. Identifying these threats requires semantic understanding and structural reasoning that traditionally depend on symbolic, constraint-driven static analysis. This work presents the first comprehensive evaluation of Large Language Models (LLMs) across a multi-category interaction threat taxonomy, assessing their performance on both the original openHAB (oHC/IoTB) dataset and a structurally challenging Mutation dataset designed to test robustness under rule transformations. We benchmark Llama 3.1 8B, Llama 70B, GPT-4o, Gemini-2.5-Pro, and DeepSeek-R1 across zero-, one-, and two-shot settings, comparing their results against oHIT's manually validated ground truth. Our findings show that while LLMs exhibit promising semantic understanding, particularly on action- and condition-related threats, their accuracy degrades significantly for threats requiring cross-rule structural reasoning, especially under mutated rule forms. Model performance varies widely across threat categories and prompt settings, with no model providing consistent reliability. In contrast, the symbolic reasoning baseline maintains stable detection across both datasets, unaffected by rule rewrites or structural perturbations. These results underscore that LLMs alone are not yet dependable for safety critical interaction-threat detection in IoT environments. We discuss the implications for tool design and highlight the potential of hybrid architectures that combine symbolic analysis with LLM-based semantic interpretation to reduce false positives while maintaining structural rigor.

研究の動機と目的

• 実践的なopenHABデータセットにおけるRITの検証と分類に対するLLMの基礎能力を評価する。
• モデルサイズとプロンプティングが文脈的推論と信頼性に与える影響を明らかにする。
• 脆弱ケースの操作的相互作用データセットでのスケーラビリティと一般化可能性を検証する。
• 記号解析とLLM検証を組み合わせた整理・照合ベースのハイブリッドワークフローを評価し、偽陽性を低減する。

提案手法

• ゼロショット・ワンショット・ツーショットプロンプト下で、複数のLLM（Llama 3.1 8B/70B、GPT-4o、Gemini-2.5-Pro、DeepSeek-R1を含む）を評価する。
• oHITを記号的静的解析のベースラインとして使用し、RIT候補を生成する。
• ハイブリッドの整理・検証パイプラインを導入し、LLMの文脈チェックを介して脅威をフィルタリング・分類・検証する。
• 2つのデータセット（openHAB CommunityとIoTBench）と、頑健性を試験するための操作的相互作用を含むMutationデータセットを使用する。
• プロンプトベースの誘導を用いてRITをカテゴリ（WAC, SAC, WTC, STC, WCC, SCC）へ分類し、マイクロ精度とクラス別再現率で評価する。
• 複数応答対単一応答条件の下での実験を分析し、精度-再現率のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 RQ1 Baseline Capability: 事前学習済みのLLMは、実際のopenHABデータにおけるRITの検証と分類をどれだけ効果的に行えるか。
• RQ2 RQ2 Model Scaling Effect: LLMのサイズはRITの文脈検証精度と推論の一貫性にどのような影響を与えるか。
• RQ3 RQ3 Scalability and Generalizability: 実際の脆弱性を含むMutationベースのデータセットでも手法は性能を維持できるか。
• RQ4 RQ4 Hybrid Effectiveness: ハイブリッドワークフローは記号ベースのみ・LLMのみのアプローチと比較して精度を向上させ、偽陽性を減らせるか。

主な発見

• LLMsはアクション・条件関連の脅威に対して意味論的理解の有望さを示すが、ルール間の構造的推論には課題がある。
• 複数ルールに跨る推論や変形したルール形式を要する脅威では精度が低下する。
• 記号的推論のベースラインはデータセットを跨いでも検出が安定しており、ルールの書換えに影響されない。
• 整理・照合ベースのハイブリッドワークフローは、難解なケースでの精度を大幅に向上させつつ、記号解析の高い再現性を維持する。
• 脅威カテゴリやプロンプト設定により性能は大きく異なり、いずれのモデルも単独では一貫した信頼性を提供しない。