[論文レビュー] ACFIX: Guiding LLMs with Mined Common RBAC Practices for Context-Aware Repair of Access Control Vulnerabilities in Smart Contracts

Lyuye Zhang, Kaixuan Li+5 more|arXiv (Cornell University)|Mar 11, 2024

Blockchain Technology Applications and Security被引用数 5

ひとこと要約

ACFIX は mined RBAC taxonomy と context-aware prompting を GPT-4 で用いてスマートコントラクトのアクセス制御の脆弱性を修正し、ベースラインの GPT-4 を大幅に上回る改善を達成し、人間に適合したパッチを可能にします。

ABSTRACT

Smart contracts are susceptible to various security issues, among which access control (AC) vulnerabilities are particularly critical. While existing research has proposed multiple detection tools, the automatic and appropriate repair of AC vulnerabilities in smart contracts remains a challenge. Unlike commonly supported vulnerability types by existing repair tools, such as reentrancy, which are usually fixed by template-based approaches, the main obstacle of AC lies in identifying the appropriate roles or permissions amid a long list of non-AC-related source code to generate proper patch code, a task that demands human-level intelligence. Leveraging recent advancements in large language models (LLMs), we employ the state-of-the-art GPT-4 model and enhance it with a novel approach called ACFIX. The key insight is that we can mine common AC practices for major categories of code functionality and use them to guide LLMs in fixing code with similar functionality. To this end, ACFIX involves both offline and online phases. First, during the offline phase, ACFIX mines a taxonomy of common Role-based Access Control (RBAC) practices from 344,251 on-chain contracts, categorizing 49 role-permission pairs from the top 1,000 pairs mined. Second, during the online phase, ACFIX tracks AC-related elements across the contract and uses this context information along with a Chain-of-Thought pipeline to guide LLMs in identifying the most appropriate role-permission pair for the subject contract and subsequently generating a suitable patch. This patch will then undergo a validity and effectiveness check. To evaluate ACFIX, we built the first benchmark dataset of 118 real-world AC vulnerabilities, and our evaluation revealed that ACFIX successfully repaired 94.92% of them. This represents a significant improvement compared to the baseline GPT-4, which achieved only 52.54%.

研究の動機と目的

• 実世界のスマートコントラクトにおける共通の RBAC（Role-Based Access Control）実践を特定し、ダイナミックな RBAC タキソノミーを構築する。
• 静的コード解析を活用して、パッチ生成を通知する AC コンテキストグラフを構築する。
• RBAC タキソノミーとコンテキストグラフを用いて GPT-4 をガイドし、AC 脆弱性に対して正しいパッチを生成させる。
• RBAC ポリシーとの整合性を確保し、リグレッションを防ぐために専用のバリデータでパッチを検証する。
• 最新のツールと比較して ACFIX をベンチマークし、人間の修復との整合性を評価する。

提案手法

• 344,251 件のオンチェーン契約から RBAC 実践をオフラインでマイニングし、49 のロール-パーミッションのペアのタキソノミーを構築する。
• 脆弱な関数周辺の AC コンテキストグラフ（ACG）を構築するための静的スライシング。
• オンラインのデュアルエージェント（生成器と検証器）MAD フレームワークが LLM に適切なロール-パーミッションのペアを選択しパッチを生成するよう導く（CoT プロンプティング）。
• パッチは静的に検査され、意味論的正確性と RBAC 一貫性を確保するためにバリデータによって反復的に検証される。
• 実世界の AC 脆弱性ベンチマーク 118 件の評価で、ACFIX は 94.92% の修復率を示し、GPT-4 ベースラインの 52.54% を上回る。
• SOTA 修復ツールとの比較と、文脈とタキソノミーの寄与を評価するアブレーション研究。

実験結果

リサーチクエスチョン

• RQ1 マイニングされた RBAC パターンは、LLMs がスマートコントラクトの AC 脆弱性を効果的に修復する手助けとなるか？
• RQ2 AC コンテキストグラフと RBAC タキソノミーを組み込むことで、バニラ LLM 修復と比べてパッチの正確性と意味論的整合性が向上するか？
• RQ3 実世界の AC ケースにおいて、ACFIX はベースラインの GPT-4 および他の最先端の脆弱性修復ツールと比較してどの程度の性能を示すか？
• RQ4 MAD フレームワークにおけるバリデータが修復の成功と品質に与える影響はどれくらいか？

主な発見

• ACFIX はベンチマークの AC 脆弱性を 94.92% 修復し、GPT-4 ベースラインの 52.54% より大幅に高い。
• アブレーションにより、文脈とタキソノミーを充実させると修復効果が向上する（GPT-4 だけだと 52.54%）。
• Validator コンポーネントにより修復効果が 87.28% から 94.92% に向上した。
• 人間の専門家は大筋で ACFIX の修復と一致し、オープンな課題では時に上回ることもある一方、多くの修正は人間だけでは容易ではない。
• RBAC タキソノミーは 49 のロール-パーミッションのペアを把握しており、オンチェーン契約で観察される一般的な AC 実践の大半を網羅している。