[논문 리뷰] Semantic Code Search for Smart Contracts

Chaochen Shi, Yong Xiang외 2명|arXiv (Cornell University)|2021. 11. 28.

Software Engineering Research참고 문헌 26인용 수 5

한 줄 요약

이 논문은 제어 및 데이터 흐름 의미를 포착하기 위해 계약 요소 의존성 그래프(CEDG)를 통합한 멀티모달 의미적 코드 검색 모델인 MM-SCS를 제안한다. 이 모델는 맥락 기반 코드 임베딩을 위해 다중 헤드 어텐션을 사용하고, 쿼리 인코딩을 위해 미세조정된 ALBERT 모델을 활용한다. MM-SCS는 47만 개의 (코드, 주석) 데이터셋에서 MRR 0.572를 기록하며, 최신 기술 모델들보다 최대 59.3% 향상된 성능을 보였고, 쿼리당 0.34초의 빠른 추론 속도를 유지한다.

ABSTRACT

Semantic code search technology allows searching for existing code snippets through natural language, which can greatly improve programming efficiency. Smart contracts, programs that run on the blockchain, have a code reuse rate of more than 90%, which means developers have a great demand for semantic code search tools. However, the existing code search models still have a semantic gap between code and query, and perform poorly on specialized queries of smart contracts. In this paper, we propose a Multi-Modal Smart contract Code Search (MM-SCS) model. Specifically, we construct a Contract Elements Dependency Graph (CEDG) for MM-SCS as an additional modality to capture the data-flow and control-flow information of the code. To make the model more focused on the key contextual information, we use a multi-head attention network to generate embeddings for code features. In addition, we use a fine-tuned pretrained model to ensure the model's effectiveness when the training data is small. We compared MM-SCS with four state-of-the-art models on a dataset with 470K (code, docstring) pairs collected from Github and Etherscan. Experimental results show that MM-SCS achieves an MRR (Mean Reciprocal Rank) of 0.572, outperforming four state-of-the-art models UNIF, DeepCS, CARLCS-CNN, and TAB-CS by 34.2%, 59.3%, 36.8%, and 14.1%, respectively. Additionally, the search speed of MM-SCS is second only to UNIF, reaching 0.34s/query.

연구 동기 및 목표

• 기존 스마트 컨트랙트 코드 검색 모델의 의미적 갭을 해소하기 위해, 특히 블록체인 전용 쿼리에 대해 개선을 도모한다.
• 제어 흐름 및 데이터 흐름과 같은 스마트 컨트랙트 코드 내 깊은 구조적 의존성을 포착함으로써 코드 검색 정확도를 향상시킨다.
• 쿼리 인코딩을 위해 미세조정된 사전학습된 언어 모델을 활용함으로써, 낮은 데이터 환경에서도 모델 성능을 향상시킨다.
• 코드 요소 간의 의미적 관계를 표현하기 위해 새로운 그래프 기반 모odal인 계약 요소 의존성 그래프(CEDG)를 도입한다.
• 실제 스마트 컨트랙트 코드 검색 환경에서 높은 검색 정확도와 효율적인 추론 속도 사이의 균형을 이룬다.

제안 방법

• 모델은 코드 특징에 대한 맥락 인식 임베딩을 생성하기 위해 다중 헤드 자기어텐션 네트워크를 사용하며, 의미적으로 중요한 요소에 집중한다.
• 제어 흐름 및 데이터 흐름 의존성을 코드 요소 간에 인코딩하기 위해 새로운 계약 요소 의존성 그래프(CEDG)를 구축하며, 이를 추가 모달로 활용한다.
• 쿼리 인코더는 미세조정된 ALBERT 모델을 활용하여 쿼리 임베딩을 생성함으로써, 제한된 훈련 데이터 조건에서도 의미 이해를 향상시킨다.
• 텍스트 토큰(T), 추상 구문 트리(_AST_), 함수 호출 시퀀스(F), CEDG 등 여러 모달을 통합된 표현으로 융합하여 유사도 계산을 수행한다.
• 공유된 벡터 공간 내에서 코사인 거리 기반 유사도를 계산함으로써 코드와 쿼리 간의 의미적 유사도를 산정하며, 엔드 투 엔드로 최적화된다.
• 아키텍처는 GitHub 및 Etherscan에서 수집한 47만 개의 (코드, 주석) 쌍으로 구성된 고유한 데이터셋을 기반으로 훈련된다.

실험 결과

연구 질문

• RQ1 CEDG 모달의 포함이 스마트 컨트랙트 코드 검색 성능에 어떤 영향을 미치는가?
• RQ2 다중 헤드 어텐션은 모델의 핵심 코드 의미에 집중하는 능력을 얼마나 향상시키는가?
• RQ3 훈련 데이터가 제한된 상황에서 미세조정된 ALBERT 모델이 쿼리 임베딩 생성에 얼마나 효과적인가?
• RQ4 MM-SCS는 스마트 컨트랙트 코드 검색에서 최신 기술 모델들과 비교해 정확도와 속도 면에서 어떻게 성능을 내는가?
• RQ5 각 모달(T, A, F, AST, CEDG)이 모델의 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• MM-SCS는 MRR 0.572를 기록하며, UNIF(MRR 0.426), DeepCS(0.359), CARLCS-CNN(0.418), TAB-CS(0.501)를 크게 앞서며 뚜렷한 성능 향상을 보였다.
• T+A+F+CEDG 전체 모달 세트를 사용할 경우, DeepCS 대비 MRR에서 최대 59.3% 향상되어 강력한 성능 향상을 입증했다.
• MM-SCS는 쿼리당 0.34초의 검색 속도를 기록하며, UNIF에 이어 두 번째로 빠른 추론 속도를 보였고, 높은 정확도를 유지하면서도 효율적인 추론을 구현했다.
• CEDG를 모달로 추가함으로써 T+A+F 기반 모델 대비 MRR가 4.9%p 향상되어 의미적 이해도 향상에 기여한 것으로 확인되었다.
• 사례 연구에서 MM-SCS는 '특정 주소의 토큰을 파기하라'는 쿼리에 대해 'burn' 기능을 정확히 검색했으나, 기준 모델들은 블록체인 용어의 동의어 의미를 이해하지 못해 실패했다.
• 모델의 성능은 다양한 입력 모달에 대해 뚜렷한 개선을 보였으며, 모든 평가 지표(SR@1, SR@5, SR@10, MRR)에서 기준 모델 대비 일관된 향상을 보였다.