[논문 리뷰] GraphSearchNet: Enhancing GNNs via Capturing Global Dependencies for Semantic Code Search

Shangqing Liu, Xiaofei Xie외 4명|arXiv (Cornell University)|2021. 11. 04.

Software Engineering Research참고 문헌 36인용 수 4

한 줄 요약

GraphSearchNet는 양방향 GNN(BiGGNN)와 다중헤드 어텐션을 통해 소스 코드와 자연어 쿼리의 구조적 및 전반적 의존성을 동시에 모델링함으로써 GNN을 개선하여 의미적 코드 검색에 활용하는 그래프 기반 딥러닝 프레임워크를 제안한다. 이 모델은 Java와 Python에 대해 CodeSearchNet 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며 이전 방법들을 크게 앞서며 뛰어난 성능을 보인다.

ABSTRACT

Code search aims to retrieve accurate code snippets based on a natural language query to improve software productivity and quality. With the massive amount of available programs such as (on GitHub or Stack Overflow), identifying and localizing the precise code is critical for the software developers. In addition, Deep learning has recently been widely applied to different code-related scenarios, e.g., vulnerability detection, source code summarization. However, automated deep code search is still challenging since it requires a high-level semantic mapping between code and natural language queries. Most existing deep learning-based approaches for code search rely on the sequential text i.e., feeding the program and the query as a flat sequence of tokens to learn the program semantics while the structural information is not fully considered. Furthermore, the widely adopted Graph Neural Networks (GNNs) have proved their effectiveness in learning program semantics, however, they also suffer the problem of capturing the global dependencies in the constructed graph, which limits the model learning capacity. To address these challenges, in this paper, we design a novel neural network framework, named GraphSearchNet, to enable an effective and accurate source code search by jointly learning the rich semantics of both source code and natural language queries. Specifically, we propose to construct graphs for the source code and queries with bidirectional GGNN (BiGGNN) to capture the local structural information of the source code and queries. Furthermore, we enhance BiGGNN by utilizing the multi-head attention module to supplement the global dependencies that BiGGNN missed to improve the model learning capacity. The extensive experiments on Java and Python programming language from the public benchmark CodeSearchNet confirm that GraphSearchNet outperforms current state-of-the-art works.

연구 동기 및 목표

• 개발자가 코드 재사용에 크게 의존하는 '빅 코드' 시대의 의미적 코드 검색 과제를 해결하기 위해.
• 순차적 모델과 표준 GNN이 코드와 쿼리의 구조적 및 전반적 의존성을 모두 포착하는 데 한계가 있음을 극복하기 위해.
• 그래프 신경망을 사용하여 소스 코드와 자연어 쿼리의 표현을 공동으로 모델링함으로써 의미적 매핑을 향상시키기 위해.
• 기존 GNN이 놓치는 전반적 의존성을 복구하기 위해 다중헤드 어텐션을 통합함으로써 GNN을 개선하기 위해.

제안 방법

• 소스 코드와 쿼리 시퀀스로부터 국소적 구조적 정보를 학습하기 위해 이중 방향 게이팅 그래프 신경망(BiGGNN)을 사용하여 프로그램 및 쿼리 그래프를 구축한다.
• 그래프 내 노드 간의 장거리 및 전반적 의존성을 포착하기 위해 다중헤드 자기어텐션 메커니즘을 BiGGNN에 통합하여 성능을 향상시킨다.
• 개선된 그래프 네트워크를 사용하여 소스 코드와 자연어 쿼리를 통합된 벡터 표현으로 함께 인코딩한다.
• 유사도 측정을 위해 코드 및 쿼리 임베딩 간의 코사인 유사도를 계산하여 검색을 수행한다.
• 관련된 코드-쿼리 쌍을 정렬하기 위해 대조 학습 목표를 사용하여 CodeSearchNet 데이터셋에서 모델을 엔드 투 엔드로 훈련시킨다.
• 구문적 및 의미적 구조를 유지하기 위해 AST 기반 엣지와 토큰 수준의 연결성을 포함하는 그래프 구축 기법을 적용한다.

실험 결과

연구 질문

• RQ1 그래프 기반 딥러닝 프레임워크는 의미적 코드 검색을 위한 소스 코드와 자연어 쿼리의 국소적 구조적 및 전반적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 BiGGNN에 다중헤드 어텐션을 통합하면 GNN의 표현 학습 능력이 코드 검색에서 어떻게 향상되는가?
• RQ3 GraphSearchNet은 표준 벤치마크에서 기존 최신 기술 수준(SOTA) 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 코드 및 쿼리 그래프의 공동 모델링은 순차적 또는 단일 모odal 접근 방식보다 더 나은 의미적 정렬을 이끌어낼 수 있는가?

주요 결과

• GraphSearchNet은 Java와 Python 프로그래밍 언어 모두에 대해 CodeSearchNet 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 모델은 기존 SOTA 방법인 MMAN과 Code2Seq에 비해 평균 정밀도(mAP)와 상위-k 결과에서의 재현율 측정치에서 뚜렷한 성능 향상을 보인다.
• 다중헤드 어텐션을 BiGGNN에 통합함으로써 장거리 구조적 관계에서 전반적 의존성을 더 잘 포착할 수 있는 측정 가능한 향상이 이루어졌다.
• 제거 실험(ablation study) 결과, BiGGNN와 다중헤드 어텐션 구성 요소 모두가 최종 성능 향상에 기여하며 필수적임을 확인하였다.
• GraphSearchNet는 다양한 프로그래밍 언어에 걸쳐 뛰어난 일반화 능력을 보이며, 언어별 패턴을 초월한 효과성을 입증하였다.