[論文レビュー] When Specifications Meet Reality: Uncovering API Inconsistencies in Ethereum Infrastructure

Ma, Jie, He, Ningyu+9 more|arXiv (Cornell University)|Mar 6, 2026

Software System Performance and Reliability被引用数 0

ひとこと要約

APIDifferは、ELとCLの実装間でEthereumクライアントAPIの不整合を自動検出する仕様ガイド付き差分テストフレームワークで、偽陽性を減少させ、実際のバグを明らかにします。11の主要クライアントにまたがる72のバグを発見し、多くはすでに修正済みまたは確認済みです。

ABSTRACT

The Ethereum ecosystem, which secures over $381 billion in assets, fundamentally relies on client APIs as the sole interface between users and the blockchain. However, these critical APIs suffer from widespread implementation inconsistencies, which can lead to financial discrepancies, degraded user experiences, and threats to network reliability. Despite this criticality, existing testing approaches remain manual and incomplete: they require extensive domain expertise, struggle to keep pace with Ethereum's rapid evolution, and fail to distinguish genuine bugs from acceptable implementation variations. We present APIDiffer, the first specification-guided differential testing framework designed to automatically detect API inconsistencies across Ethereum's diverse client ecosystem. APIDiffer transforms API specifications into comprehensive test suites through two key innovations: (1) specification-guided test input generation that creates both syntactically valid and invalid requests enriched with real-time blockchain data, and (2) specification-aware false positive filtering that leverages large language models to distinguish genuine bugs from acceptable variations. Our evaluation across all 11 major Ethereum clients reveals the pervasiveness of API bugs in production systems. APIDiffer uncovered 72 bugs, with 90.28% already confirmed or fixed by developers. Beyond these raw numbers, APIDiffer achieves up to 89.67% higher code coverage than existing tools and reduces false positive rates by 37.38%. The Ethereum community's response validates our impact: developers have integrated our test cases, expressed interest in adopting our methodology, and escalated one bug to the official Ethereum Project Management meeting.

研究の動機と目的

• 資産とユーザーエクスペリエンスに影響を及ぼす可能性のあるクライアント間の不整合を原因とするEthereumクライアントAPIの堅牢なテストの必要性を動機づける。
• ELとCLクライアントの双方のAPI仕様からテスト入力を自動生成する仕様ガイド付きフレームワークを開発する。
• Semantics-awareフィルタリングと大規模言語モデル（LLM）を用いてAPIバグ検出の偽陽性を減らす。
• 主要なEthereumクライアントでの実際のバグを発見し、テストカバレージを改善することでフレームワークの有効性を示す。

提案手法

• Ethereum API仕様をELおよびCLクライアント向けの包括的なテストスイートに翻訳する。
• JSON-RPCおよびBeacon API仕様をスキーマ駆動生成を用いて構文的に有効・無効なテスト入力を生成する。
• リクエストの意味的妥当性を確保するためにライブブロックチェーンデータでテスト入力を強化する（事実ベースの意味論認識生成）。
• 主要なEthereumクライアントの組み合わせを用いたローカルテストネットで差分テストを実行し不整合を特定する。
• 仕様認識ヒューリスティクスとLLMベースの意味的同値性分析を適用して偽陽性をフィルタリングし応答を分類する。
• 実用的なバグを報告し、ベースラインと比較したコードカバレージの改善を示す。

実験結果

リサーチクエスチョン

• RQ1 仕様駆動入力でテストしたとき、主要なEthereumクライアントエコシステム（ELとCL）全体でAPIの不整合はどの程度見られるか。
• RQ2 仕様認識生成とLLM支援フィルタリングは、偽陽性を減らしつつ実際のバグを維持できるか。
• RQ3 APIDifferは既存のEthereum APIテストツールと比較してコードカバレージをどの程度改善できるか。
• RQ4 発見されたバグのうち開発者によって確認または修正された割合はどれくらいか、公式Ethereumガバナンスにエスカレーションされたバグはあるか。
• RQ5 テスト入力でライブブロックチェーンデータを使用することがバグ検出の有効性に与える影響は何か。

主な発見

• APIDifferは11の主要Ethereumクライアント全体で72のバグを発見した。
• 発見されたバグの約90.28%が開発者によって確認または修正された。
• 1つのバグは公式Ethereum API仕様自体に存在していた。
• APIDifferは既存ツールより最大89.67%のコードカバレージを達成する。
• APIDifferは偽陽性率を37.38%低減する。
• EthereumコミュニティはAPIDifferのテストケースを取り入れ、少なくとも1つのバグを公式Ethereumプロジェクト管理会議へエスカレーションした。