[論文レビュー] When ChatGPT Meets Smart Contract Vulnerability Detection: How Far Are We?

Chong Chen, Jianzhong Su+8 more|arXiv (Cornell University)|Sep 11, 2023

Blockchain Technology Applications and Security被引用数 5

ひとこと要約

本稿は、SmartBugsデータセットを用いてChatGPTのスマートコントラクト脆弱性検出効果を評価し、特に特定の脆弱性タイプにおいて高い再現率だが低い正確率であることが判明した。誤検出の主な原因を4つ同定し、11種類の最先端ツールと比較した結果、7つの脆弱性カテゴリのうち4つでのみChatGPTが優れていることが判明し、耐性の低さとコード長処理の制限が顕著に現れた。

ABSTRACT

With the development of blockchain technology, smart contracts have become an important component of blockchain applications. Despite their crucial role, the development of smart contracts may introduce vulnerabilities and potentially lead to severe consequences, such as financial losses. Meanwhile, large language models, represented by ChatGPT, have gained great attentions, showcasing great capabilities in code analysis tasks. In this paper, we presented an empirical study to investigate the performance of ChatGPT in identifying smart contract vulnerabilities. Initially, we evaluated ChatGPT's effectiveness using a publicly available smart contract dataset. Our findings discover that while ChatGPT achieves a high recall rate, its precision in pinpointing smart contract vulnerabilities is limited. Furthermore, ChatGPT's performance varies when detecting different vulnerability types. We delved into the root causes for the false positives generated by ChatGPT, and categorized them into four groups. Second, by comparing ChatGPT with other state-of-the-art smart contract vulnerability detection tools, we found that ChatGPT's F-score is lower than others for 3 out of the 7 vulnerabilities. In the case of the remaining 4 vulnerabilities, ChatGPT exhibits a slight advantage over these tools. Finally, we analyzed the limitation of ChatGPT in smart contract vulnerability detection, revealing that the robustness of ChatGPT in this field needs to be improved from two aspects: its uncertainty in answering questions; and the limited length of the detected code. In general, our research provides insights into the strengths and weaknesses of employing large language models, specifically ChatGPT, for the detection of smart contract vulnerabilities.

研究の動機と目的

• スマートコントラクト脆弱性の複数のタイプにわたり、ChatGPTの検出効果を評価すること。
• ChatGPTによる脆弱性検出時に生じる誤検出の根本的要因を特定・分類すること。
• ChatGPTの性能を11種類の最先端スマートコントラクト脆弱性検出ツールと比較すること。
• 本分野におけるChatGPTの制限、特に応答の不確実性とコード長制限に関して分析すること。
• LLM（例：ChatGPT）をブロックチェーンセキュリティに活用する実用的妥当性と改善の必要性についての知見を提供すること。

提案手法

• 本研究では、DASP10が定義する9つの脆弱性カテゴリにまたがる142件の脆弱なスマートコントラクトを含む、広く採用されているSmartBugsによってキュレートされたデータセットを用いた。
• ChatGPT（GPT-3.5およびGPT-4）に9つの脆弱性タイプをすべて検出するよう指示する標準化されたプロンプトを設計した。
• 検出効果を定量化するために、標準的な指標（正確率、再現率、F1スコア）を用いて評価を行った。
• 誤検出は体系的に分析され、4つの異なるタイプに分類された：保護メカニズムバイアス、開発意図バイアス、コメントによる干渉、デッドコードによる干渉。
• 同じデータセットを用いて11種類のSOTAツール（例：Mythril、Confuzzius）と比較評価を行い、性能をベンチマークした。
• また、ChatGPTの制限、特に応答の不安定さと入力コード長の制限についても分析を行った。

実験結果

リサーチクエスチョン

• RQ1 RQ1: ChatGPTはスマートコントラクトの脆弱性検出においてどの程度効果的であり、異なる脆弱性タイプごとに性能はどのように変動するか？
• RQ2 RQ2: ChatGPTの検出性能は、他の最先端スマートコントラクト脆弱性検出ツールと比べてどうか？
• RQ3 RQ3: ChatGPTがスマートコントラクト脆弱性検出で生成する誤検出の根本的要因は何か？
• RQ4 RQ4: 本文脈におけるChatGPTの主な制限は何か。特に耐性の低さと入力長の制限に関して。

主な発見

• GPT-3.5では再現率が51.4%、GPT-4では88.2%を達成し、実際の脆弱性を多く特定できる能力があることが示された。
• しかし正確率は低く、GPT-3.5では19.7%、GPT-4では22.6%にとどまり、誤検出率が非常に高いことが判明した。
• Short Address Attackのような特定の脆弱性では、GPT-3.5およびGPT-4の両者とも性能が低く、一方でUnchecked Return Valuesでは良好な性能を示した。
• Front RunningおよびDenial of Service脆弱性の検出において、ChatGPTは11の他のツールを上回ったが、F1スコアはそれぞれ12.8%および15.9%にとどまり低かった。
• 誤検出の主な原因は4つのカテゴリに分けられた：保護メカニズムバイアス、開発意図バイアス、コメントによる干渉、デッドコードによる干渉。
• ChatGPTは評価対象の81.8%のツールよりも検出失敗率が高く、耐性の低さと長大なコード入力の処理における制限を抱えている。