[논문 리뷰] MISIM: A Neural Code Semantics Similarity System Using the Context-Aware Semantics Structure

Fangke Ye, Shengtian Zhou외 11명|arXiv (Cornell University)|2020. 06. 05.

Topic Modeling참고 문헌 56인용 수 5

한 줄 요약

MISIM는 코드 구문에서 의미를 추출하기 위해 맥락 인식 의미 구조(CASS)를 도입하고, 유연한 유사도 검출을 위한 학습 가능한 딥 뉴럴 네트워크 스코어링 프레임워크를 갖춘 신경망 기반 코드 의미 유사도 시스템이다. 328,000개의 프로그램에서 평가된 결과, MISIM은 다음으로 우수한 시스템보다 MAP@R 기준으로 8.08% 높은 정확도를 기록하여 의미 기반 코드 유사도 분야에서 최신 기술 수준을 확립하였다.

ABSTRACT

Code semantics similarity can be used for many tasks such as code recommendation, automated software defect correction, and clone detection. Yet, the accuracy of such systems has not yet reached a level of general purpose reliability. To help address this, we present Machine Inferred Code Similarity (MISIM), a neural code semantics similarity system consisting of two core components: (i)MISIM uses a novel context-aware semantics structure, which was purpose-built to lift semantics from code syntax; (ii)MISIM uses an extensible neural code similarity scoring algorithm, which can be used for various neural network architectures with learned parameters. We compare MISIM to four state-of-the-art systems, including two additional hand-customized models, over 328K programs consisting of over 18 million lines of code. Our experiments show that MISIM has 8.08% better accuracy (using MAP@R) compared to the next best performing system.

연구 동기 및 목표

• 기계 프로그래밍 분야에서 신뢰할 수 있고 일반적인 목적의 코드 의미 유사도 시스템 부족 문제를 해결하기 위해.
• 기존의 구조적 표현 방식(예: AST, XFG, SPT)의 한계를 극복하기 위해 더 의미적으로 표현력이 뛰어나고 확장 가능한 표현 방식을 설계하기 위해.
• 다양한 딥 러닝 아키텍처에 일반화되며 코드에서 의미적인 의미 유사도를 학습할 수 있는 신경 스코어링 프레임워크를 개발하기 위해.
• 정확한 의미 기반 유사도를 통해 코드 추천, 클론 탐지, 자동 버그 수정 등의 실용적 응용을 가능하게 하기 위해.
• 구문 패tern에 의존도를 줄이고, 기능적 동치성을 유지하면서도 구문 변형에 더 강건한 성능을 확보하기 위해.

제안 방법

• MISIM은 맥락 인식 의미 구조(CASS)를 도입한다. CASS는 구성 가능하고 언어에 종속되지 않은 표현 방식으로, 구문 노이즈를 추상화하고 제어/데이터 흐름 의미를 유지함으로써 코드 구문에서 의미를 추출한다.
• CASS는 노드 접두어 레이블, 복합 문장 추상화, 전역 변수 및 함수 처리, 입력/출력 기수 모델링 등 다양한 추상화 수준을 지원한다.
• 시스템은 세 가지 DNN 아키텍처(단어 집합 기반, 순서 기반, 그래프 기반 모델)를 지원하는 학습 가능한 딥 뉴럴 네트워크(DNN) 스코어링 프레임워크를 활용하며, 아키텍처 간 공유 파라미터를 제공한다.
• DNN는 의미적으로 동일한 코드 쌍에 대해 레이블이 지정된 데이터 쌍을 엔드 투 엔드로 훈련하며, 유사한 코드는 임베딩이 가까워지도록 하고, 비유사한 코드는 멀어지도록 하는 대비 손실(contrastive loss)을 사용한다.
• CASS는 확장 가능하도록 설계되어 언어별 및 언어에 종속되지 않은 적응이 가능하며, 정적 및 동적 의미 추상화를 모두 지원한다.
• 시스템은 CASS 표현에서 추출한 구조적 및 의미적 특징을 통합하는 학습된 스코어링 함수를 통해 유사도를 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 구문적 구조에서 의미를 효과적으로 추출하면서도 다양한 프로그래밍 언어에 걸쳐 확장 가능한 코드 표현 방식을 설계할 수 있는가?
• RQ2 기존 표현 방식(예: AST, SPT)에 비해 맥락 인식 의미 구조(CASS)가 의미 유사도 검출 성능에 얼마나 기여하는가?
• RQ3 통합된 학습 가능한 신경 스코어링 프레임워크는 다양한 DNN 아키텍처에 일반화되어 코드 유사도 작업에서 뛰어난 성능을 달성할 수 있는가?
• RQ4 CASS의 추상화 수준의 해상도는 복합 문장, 전역 변수, 함수 I/O 등 다양한 코드 요소에서 최적의 성능을 내기 위해 어느 정도여야 하는가?
• RQ5 입력/출력 기수 정보를 포함시키는 것이 시스템의 기능적 의미를 포착하는 데 어떤 영향을 미치는가?

주요 결과

• MISIM은 328,000개의 프로그램과 1,800만 줄의 코드를 포함한 벤치마크에서 다음으로 뛰어난 시스템보다 MAP@R 기준으로 8.08% 높은 평균 정확도를 기록하였다.
• 맥락 인식 의미 구조(CASS)는 구문 노이즈를 줄이고 의미 관계를 유지함으로써 기존 표현 방식(예: AST, SPT)보다 뚜렷이 뛰어난 성능을 보였다.
• CASS의 최적 추상화 수준은 코드 요소에 따라 달라진다: 복합 문장에는 가장 거친 수준, 노드 레이블과 전역 변수에는 중간 수준, 함수 I/O 기수에는 더 세밀한 수준이 최적이다.
• 입력 및 출력 기수를 모델링함으로써 평균 성능이 향상되었으며, 이는 기능 인터페이스 특성이 의미 유사도의 강력한 지표임을 시사한다.
• 학습된 DNN 스코어링 프레임워크는 단어 집합 기반, 순서 기반, 그래프 기반 아키텍처 간에 효과적으로 일반화되어 강건성과 적응 가능성의 우수성을 입증하였다.
• 높은 정확도와 확장성 덕분에 MISIM은 IDE, 코드 추천, 자동 버그 수정 도구 등 실생활 통합에 강력한 잠재력을 보이고 있다.