[논문 리뷰] When Specifications Meet Reality: Uncovering API Inconsistencies in Ethereum Infrastructure

Ma, Jie, He, Ningyu외 9명|arXiv (Cornell University)|2026. 03. 06.

Software System Performance and Reliability인용 수 0

한 줄 요약

APIDiffer는 EL과 CL 구현 간의 Ethereum 클라이언트 API 불일치를 자동으로 탐지하는 명세 가이드 차등 테스트 프레임워크로, 오탐을 줄이고 실제 버그를 드러냅니다. 11개 주요 클라이언트에서 72개의 버그를 발견했으며, 대부분은 이미 수정되었거나 확인되었습니다.

ABSTRACT

The Ethereum ecosystem, which secures over $381 billion in assets, fundamentally relies on client APIs as the sole interface between users and the blockchain. However, these critical APIs suffer from widespread implementation inconsistencies, which can lead to financial discrepancies, degraded user experiences, and threats to network reliability. Despite this criticality, existing testing approaches remain manual and incomplete: they require extensive domain expertise, struggle to keep pace with Ethereum's rapid evolution, and fail to distinguish genuine bugs from acceptable implementation variations. We present APIDiffer, the first specification-guided differential testing framework designed to automatically detect API inconsistencies across Ethereum's diverse client ecosystem. APIDiffer transforms API specifications into comprehensive test suites through two key innovations: (1) specification-guided test input generation that creates both syntactically valid and invalid requests enriched with real-time blockchain data, and (2) specification-aware false positive filtering that leverages large language models to distinguish genuine bugs from acceptable variations. Our evaluation across all 11 major Ethereum clients reveals the pervasiveness of API bugs in production systems. APIDiffer uncovered 72 bugs, with 90.28% already confirmed or fixed by developers. Beyond these raw numbers, APIDiffer achieves up to 89.67% higher code coverage than existing tools and reduces false positive rates by 37.38%. The Ethereum community's response validates our impact: developers have integrated our test cases, expressed interest in adopting our methodology, and escalated one bug to the official Ethereum Project Management meeting.

연구 동기 및 목표

• 자산과 사용자 경험에 영향을 미칠 수 있는 주요 Ethereum 클라이언트 간의 API 불일치로 인해 Ethereum 클라이언트 API의 강건한 테스트 필요성을 제기한다.
• EL과 CL 클라이언트 모두를 위해 API 명세에서 테스트 입력을 자동으로 생성하는 명세 주도 프레임워크를 개발한다.
• 의미 체계 기반 필터링과 대형 언어 모델(LLM)을 사용하여 API 버그 탐지의 오탐을 줄인다.
• 주요 Ethereum 클라이언트 전체에서 프레임워크의 효과를 입증하고 테스트 커버리지를 개선한다.

제안 방법

• EL과 CL 클라이언트 모두에 대한 Ethereum API 명세를 포괄적인 테스트 스위트로 번역한다.
• 스키마 주도 생성을 사용하여 JSON-RPC 및 Beacon API 명세에서 구문적으로 유효하고 유효하지 않은 테스트 입력을 생성한다.
• 실제 블록체인 데이터를 활용해 요청의 의미적 유효성을 보장한다(사실 기반 의미 인식 생성).
• 주요 이더리움 클라이언트 조합으로 지역 테스트넷에서 차등 테스트를 실행해 불일치를 식별한다.
• 명세 인식 휴리스틱과 대형 언어 모델(LLM) 기반 의미 등가성 분석을 적용해 오탐을 필터링하고 응답을 분류한다.
• 실용적인 버그를 보고하고 기준선 대비 코드 커버리지 개선을 입증한다.

실험 결과

연구 질문

• RQ1 주요 Ethereum 클라이언트 생태계(EL 및 CL)에 대해 명세 주도 입력으로 테스트할 때 API 불일치가 얼마나 넓게 퍼져 있는가?
• RQ2 명세 인식 생성을 plus LLM 보조 필터링이 오탐을 줄이면서 실제 버그를 보존할 수 있는가?
• RQ3 APIDiffer가 기존 Ethereum API 테스트 도구에 비해 코드 커버리지를 얼마나 향상시키는가?
• RQ4 발견된 버그 중 개발자가 확인하거나 수정한 비율은 얼마이며, 일부가 공식 이더리움 거버넌스에 에스컬레이션되었는가?
• RQ5 테스트 입력에 라이브 블록체인 데이터를 사용하는 것이 버그 탐지 효과에 어떤 영향을 미치는가?

주요 결과

• APIDiffer는 11개 주요 이더리움 클라이언트에서 72개의 버그를 발견했다.
• 발견된 버그의 약 90.28%가 개발자에 의해 확인되거나 수정되었다.
• 그 중 하나의 버그는 공식 이더리움 API 명세 자체에 있었다.
• APIDiffer는 기존 도구보다 최대 89.67%의 코드 커버리지를 달성한다.
• APIDiffer는 거짓 양성 비율을 37.38% 감소시킨다.
• 이더리움 커뮤니티는 APIDiffer 테스트 케이스를 통합했고 최소 한 건의 버그를 공식 이더리움 프로젝트 관리 회의로 에스컬레이션했다.