[論文レビュー] SmartBugs: A Framework to Analyze Solidity Smart Contracts

João F. Ferreira, Pedro E. D. Cruz+2 more|arXiv (Cornell University)|Jul 8, 2020

Blockchain Technology Applications and Security参考文献 8被引用数 29

ひとこと要約

SmartBugs は、Solidity スマートコントラクトにおける静的解析ツールの実行と比較を標準化するオープンソースで拡張可能なフレームワークです。事前構成済みのツール、キュレート済みのデータセット、Docker を用いた実行を提供することで、再現可能な評価を可能にします。SmartBugs 内での SmartCheck の拡張により、Bad Randomness、Time Manipulation、Access Control の脆弱性検出率が 11% から 24% に向上しました。

ABSTRACT

Over the last few years, there has been substantial research on automated analysis, testing, and debugging of Ethereum smart contracts. However, it is not trivial to compare and reproduce that research. To address this, we present SmartBugs, an extensible and easy-to-use execution framework that simplifies the execution of analysis tools on smart contracts written in Solidity, the primary language used in Ethereum. SmartBugs is currently distributed with support for 10 tools and two datasets of Solidity contracts. The first dataset can be used to evaluate the precision of analysis tools, as it contains 143 annotated vulnerable contracts with 208 tagged vulnerabilities. The second dataset contains 47,518 unique contracts collected through Etherscan. We discuss how SmartBugs supported the largest experimental setup to date both in the number of tools and in execution time. Moreover, we show how it enables easy integration and comparison of analysis tools by presenting a new extension to the tool SmartCheck that improves substantially the detection of vulnerabilities related to the DASP10 categories Bad Randomness, Time Manipulation, and Access Control (identified vulnerabilities increased from 11% to 24%).

研究の動機と目的

• 不一致なデータセットやツール設定によるスマートコントラクト解析研究における再現性の欠如を是正する。
• Solidity コントラクトにおける静的解析ツールの実行と比較を簡素化する統一的で拡張可能なフレームワークを提供する。
• 標準化され、アノテーションが付加されたデータセットを用いて、研究者や実務家がツールを一貫して評価できるようにする。
• モジュラーな構成と Docker ベースのデプロイメントにより、新しいツールや拡張機能の統合を促進する。
• 複数のツールとコントラクトセットを横断する実行を簡素化することで、大規模な実証的評価を支援する。

提案手法

• コマンドラインインターフェース、ツール設定ファイル、ツール用の Docker イメージ、専用のデータセットを備えたモジュラーなフレームワークを設計する。
• バージョン固有の設定を用いて、10 個の既存の静的解析ツール（例：Slither、Mythril、SmartCheck）を統合し、Solidity の後方互換性を確保する。
• 2 つのデータセットを提供する：脆弱性が 208 個（10 カテゴリ）タグ付けされた 143 件の脆弱なコントラクトから成るキュレート済みセット、および Etherscan から収集された 47,518 件のコントラクトから成る大規模セット。
• YAML ベースの設定ファイルを用いて、ツールの挙動を定義する。これには、デフォルトおよびレガシーバージョンの Solidity 対応が含まれる。
• Docker コンテナを用いてデータセット全体を横断してツール実行をオーケストレーションする SmartBugs ランナーを実装する。
• Bad Randomness、Time Manipulation、および保護されていないアクセス制御パターンを検出するための新しい XPath ベースのルールを SmartCheck に拡張する。

実験結果

リサーチクエスチョン

• RQ1 標準化されたフレームワークは、スマートコントラクト解析研究における再現性を向上させることができるか？
• RQ2 SmartBugs は、静的解析ツールの複数ツールにわたる大規模かつ横断的な評価をどの程度効果的にサポートできるか？
• RQ3 SmartBugs 内でのツール統合と拡張により、脆弱性検出の精度はどの程度向上するか？
• RQ4 既存のツール（例：SmartCheck）に新しいルールを追加することで、特定の脆弱性カテゴリの検出がどの程度効果的に向上するか？
• RQ5 共通のアノテーション付きデータセットを用いて、拡張されたツールのパフォーマンスと正確性は、元のバージョンと比較してどの程度か？

主な発見

• SmartBugs は、これまでで最大の実験的セットを実現し、10 つのツールと複数のコントラクトセットを横断する長時間の実行をサポートした。
• SmartBugs 内での SmartCheck の拡張により、DASP10 カテゴリの Bad Randomness、Time Manipulation、Access Control の脆弱性検出率が 11% から 24% に上昇した。
• 拡張済み SmartCheck ツールは、キュレート済みの 115 件の脆弱なコントラクトのデータセット上で、元の SmartCheck が検出できた 13 個の脆弱性に対し、合計 28 個（+15 個）の脆弱性を検出できた。
• Bad Randomness 用の新しいルールは、31 個の脆弱性のうち 10 個（32%）を検出でき、元のツールの 0% 検出率を著しく上回った。
• Time Manipulation カテゴリでは、拡張ルール導入により検出率が 1/5（20%）から 4/5（80%）に上昇した。
• Access Control カテゴリでは、保護されていない selfdestruct および所有権移転パターンのルール追加により、検出率が 2/19（11%）から 4/19（21%）に向上した。