[논문 리뷰] deGraphCS: Embedding Variable-based Flow Graph for Neural Code Search

Chen Zeng, Yue Yu외 7명|arXiv (Cornell University)|2021. 03. 24.

Software Engineering Research인용 수 15

한 줄 요약

deGraphCS는 LLVM 중간 표현형(IR)에서 파생된 변수 기반의 흐름 그래프 표현을 제안하여 데이터 흐름과 제어 흐름을 통해 깊은 의미적 의존성을 포착함으로써 신경망 기반 코드 검색 성능을 향상시킨다. 중복을 제거하고 최적화한 그래프와 주목적 기반 게이트형 그래프 신경망을 활용함으로써 deGraphCS는 최신 기술 수준(SOTA) 성능을 달성하였으며, 대규모 C 언어 데이터셋에서 상위 1위 정확도를 34.05%에서 43.05%로 향상시켰다.

ABSTRACT

With the rapid increase in the amount of public code repositories, developers maintain a great desire to retrieve precise code snippets by using natural language. Despite existing deep learning based approaches(e.g., DeepCS and MMAN) have provided the end-to-end solutions (i.e., accepts natural language as queries and shows related code fragments retrieved directly from code corpus), the accuracy of code search in the large-scale repositories is still limited by the code representation (e.g., AST) and modeling (e.g., directly fusing the features in the attention stage). In this paper, we propose a novel learnable deep Graph for Code Search (calleddeGraphCS), to transfer source code into variable-based flow graphs based on the intermediate representation technique, which can model code semantics more precisely compared to process the code as text directly or use the syntactic tree representation. Furthermore, we propose a well-designed graph optimization mechanism to refine the code representation, and apply an improved gated graph neural network to model variable-based flow graphs. To evaluate the effectiveness of deGraphCS, we collect a large-scale dataset from GitHub containing 41,152 code snippets written in C language, and reproduce several typical deep code search methods for comparison. Besides, we design a qualitative user study to verify the practical value of our approach. The experimental results have shown that deGraphCS can achieve state-of-the-art performances, and accurately retrieve code snippets satisfying the needs of the users.

연구 동기 및 목표

• 기존 코드 검색 방법이 추상구문 트리(_AST_)나 순수 텍스트와 같은 구문적 구조에 의존하여 코드 내 깊은 의미적 관계를 포착하지 못하는 한계를 해결하기 위해.
• 변수 수준에서 데이터 흐름과 제어 흐름을 모델링하여 자연어 쿼리와의 더 세밀한 의미적 일치를 보장함으로써 코드 표현을 향상시키기 위해.
• 코드 의미를 변경하지 않으면서 중복 정보를 제거하는 그래프 최적화 기법을 설계하여 모델의 효율성과 정확도를 향상시키기 위해.
• 토큰, 변수 수준의 데이터 흐름, 제어 흐름과 같은 다중 의미적 특징을 통합된 학습 가능한 그래프 표현으로 통합하여 코드-쿼리 임베딩을 공동으로 수행하기 위해.
• 실제 코드 검색 시나리오에서의 효과를 자동 벤치마크와 정성적 사용자 연구를 통해 평가하기 위해.

제안 방법

• LLVM IR에서 유도된 변수 기반의 흐름 그래프를 구성하여, 노드는 코드 토큰을 나타내고, 간선은 변수 간의 데이터 및 제어 의존성을 나타내도록 한다.
• 의미적 동치성을 유지하면서도 중복 노드와 간선을 제거하는 그래프 최적화 기법을 적용하여 학습 효율성을 향상시킨다.
• 최적화된 흐름 그래프에서 고차원적이고 의미적으로 풍부한 임베딩을 학습하기 위해 주목적 기반 게이트형 그래프 신경망(GGNN)에 주목적 메커니즘을 통합한 개선된 모델을 적용한다.
• 통합된 딥러닝 프레임워크를 사용하여 자연어 쿼리와 코드 스니펫을 동일한 벡터 공간에 공동으로 임bedding하여 유사도 기반 검색을 수행한다.
• 중간 표현형(IR)을 활용하여 코드와 쿼리 표현 간의 일관된 분해능을 확보함으로써 토큰 수준이나 문장 수준의 모델보다 더 나은 의미적 일치를 달성한다.
• 매칭되는 쿼리-코드 쌍 간의 의미적 유사도를 최대화하기 위해 대조 학습 기반의 목적함수를 사용하여 모델을 종합적으로 학습시킨다.

실험 결과

연구 질문

• RQ1 LLVM IR에서 유도된 변수 수준의 흐름 그래프 표현은 기존의 AST 기반 또는 토큰 기반 모델 대비 코드 검색 성능 향상에 기여하는가?
• RQ2 제안된 그래프 최적화 기법은 코드 의미를 변경하지 않으면서 노이즈를 효과적으로 줄이고 모델 효율성을 향상시키는가?
• RQ3 통합된 그래프 모델을 통해 토큰, 데이터 흐름, 제어 흐름 등의 다중 의미적 특징을 통합하면 코드 검색 정확도가 어느 정도 향상되는가?
• RQ4 deGraphCS는 DeepCS, UNIF, MMAN과 같은 최신 기술 수준의 기준 모델 대비 실제 개발 환경에서의 코드 검색 시나리오에서 어떻게 성능을 발휘하는가?
• RQ5 제안된 방법은 코드 검색 외에도 다른 프로그래밍 언어 및 소프트웨어 공학 작업(예: 코드 번역, API 추천 등)으로 일반화 가능한가?

주요 결과

• deGraphCS는 대규모 C 언어 데이터셋에서 상위 1위 정확도 43.05%를 달성하였으며, 이는 이전 최신 기술 수준의 방법이 달성한 34.05%보다 뚜렷한 향상이다.
• 자동 평가와 수동 사용자 연구 모두에서 DeepCS, UNIF, MMAN을 능가하여 실제 검색 시나리오에서 더 높은 검색 정확도를 보였다.
• 그래프 최적화 기법은 흐름 그래프 내 중복 정보를 효과적으로 줄여 학습 속도를 향상시키고 모델의 일반화 능력을 향상시켰다.
• 주목적 기반 게이트형 그래프 신경망은 변수 기반의 흐름 그래프에서 중요한 의미적 의존성을 성공적으로 포착하여 정밀한 코드 표현을 가능케 하였다.
• 사용자 연구 결과, 경쟁 기법 대비 더 관련성이 높은 코드 스니펫을 검색함으로써 deGraphCS의 실무 적용 가능성이 확인되었다.
• 모델는 높은 일반화 잠재력을 보이며, 향후 파이썬, 자바 등 다른 언어로의 확장과 코드 번역, API 추천 등의 소프트웨어 공학 작업에의 응용을 위한 후속 연구가 계획되어 있다.