[논문 리뷰] CoCoSoDa: Effective Contrastive Learning for Code Search

Ensheng Shi, Wenchao Gub외 6명|arXiv (Cornell University)|2022. 04. 07.

Topic Modeling인용 수 9

한 줄 요약

CoCoSoDa는 소프트 데이터 증강과 모멘타ム 기반 음성 샘플 큐를 결합한 대비 학습 프레임워크를 제안하여 코드 검색 성능을 햖थ한다. 이는 여섯 가지 프로그래밍 언어에서 평균 MRR 기준으로 기존 모델인 CodeBERT, GraphCodeBERT, UniXcoder보다 각각 13.3%, 10.5%, 5.9% 높은 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Code search aims to retrieve semantically relevant code snippets for a given natural language query. Recently, many approaches employing contrastive learning have shown promising results on code representation learning and greatly improved the performance of code search. However, there is still a lot of room for improvement in using contrastive learning for code search. In this paper, we propose CoCoSoDa to effectively utilize contrastive learning for code search via two key factors in contrastive learning: data augmentation and negative samples. Specifically, soft data augmentation is to dynamically masking or replacing some tokens with their types for input sequences to generate positive samples. Momentum mechanism is used to generate large and consistent representations of negative samples in a mini-batch through maintaining a queue and a momentum encoder. In addition, multimodal contrastive learning is used to pull together representations of code-query pairs and push apart the unpaired code snippets and queries. We conduct extensive experiments to evaluate the effectiveness of our approach on a large-scale dataset with six programming languages. Experimental results show that: (1) CoCoSoDa outperforms 14 baselines and especially exceeds CodeBERT, GraphCodeBERT, and UniXcoder by 13.3%, 10.5%, and 5.9% on average MRR scores, respectively. (2) The ablation studies show the effectiveness of each component of our approach. (3) We adapt our techniques to several different pre-trained models such as RoBERTa, CodeBERT, and GraphCodeBERT and observe a significant boost in their performance in code search. (4) Our model performs robustly under different hyper-parameters. Furthermore, we perform qualitative and quantitative analyses to explore reasons behind the good performance of our model.

연구 동기 및 목표

• 강화된 데이터 증강과 음성 샘플 마이닝을 통해 효과적으로 대비 학습을 활용하여 코드 검색 성능을 향상시키는 것.
• 기존의 대비 학습 방법이 가지는 한계, 예를 들어 정적 증강과 제한된 음성 샘플 다양성 문제를 해결하는 것.
• 비교적 많은 피팅 트레이닝 없이도 사전 훈련된 모델이 더 견고하고 일치하는 코드-쿼리 표현을 학습할 수 있도록 하는 것.
• RoBERTa, CodeBERT, GraphCodeBERT, UniXcoder와 같은 다양한 사전 훈련된 모델에 대해 제안된 방법의 일반화 능력을 입증하는 것.
• 하이퍼파라미터 다양성과 제로샷 설정 하에서의 프레임워크의 견고성과 효과성을 검증하는 것.

제안 방법

• 코드 토큰을 그들의 유형으로 동적으로 마스킹하거나 대체하여 의미적으로 유사한 양성 샘플을 생성하는 네 가지 소프트 데이터 증강(소다) 기법을 도입한다.
• 모멘타움 인코더와 모멘타움 업데이트된 큐를 활용하여 미니배치당 큰 크기의 일관된 음성 샘플 집합을 유지함으로써 대비 학습의 안정성을 향상시킨다.
• 쌍으로 이루어진 코드-쿼리 인스턴스의 표현을 정렬하고, 짝이 지어지지 않은 코드 스니펫과 쿼리 간의 거리를 벌여주는 다중모달 대비 학습을 적용한다.
• RoBERTa, CodeBERT, GraphCodeBERT, UniXcoder와 같은 다양한 사전 훈련된 모델의 훈련 과정에 대비 학습 목표를 통합하여 코드 검색 성능을 향상시킨다.
• 내모odal(코드-코드, 쿼리-쿼리)과 상호모달(코드-쿼리) 대비 목표를 결합한 이중 대비 학습 전략을 통해 표현 정렬을 향상시킨다.
• 사전 훈련된 모델을 피팅 트레이닝 없이 평가하는 제로샷 평가에 프레임워크를 적응시켜, 사전 훈련 단계에서만 강력한 표현을 학습할 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 코드 토큰을 그들의 유형으로 대체하거나 마스킹하는 소프트 데이터 증강 기법이 코드 검색을 위한 표현 학습에 기여하는가?
• RQ2 모멘타움 기반 음성 샘플 큐를 사용할 경우 대비 학습의 분류 능력이 코드 검색에서 향상되는가?
• RQ3 코드와 쿼리 간의 다중모달 대비 학습이 단일모달 대비 학습에 비해 표현 정렬과 성능 향상에 얼마나 기여하는가?
• RQ4 RoBERTa와 같은 비코드 전용 모델을 포함한 다양한 사전 훈련된 모델에 CoCoSoDa를 적용했을 때의 효과는 어떠한가?
• RQ5 피팅 트레이닝 없이도 CoCoSoDa가 뛰어난 성능을 달성할 수 있는가? 이는 학습된 표현의 견고성과 일반화 능력을 시사하는가?

주요 결과

• CoCoSoDa는 CodeSearchNet 벤치마크에서 18개의 최신 기술 수준(SOTA) 기반 모델을 초월하여 여섯 가지 프로그래밍 언어에서 평균 MRR 0.738의 최신 기술 수준 성능을 달성한다.
• CoCoSoDa는 CodeBERT, GraphCodeBERT, UniXcoder보다 평균 MRR 기준으로 각각 13.3%, 10.5%, 5.9% 높은 성능을 기록하여 뚜렷한 성능 향상을 입증한다.
• 제로샷 평가에서 CoCoSoDa는 피팅 트레이닝된 CodeBERT, CodeT5, GraphCodeBERT 버전을 초월하며, 평균 MRR 기준으로 50% 이상의 향상을 보였고, PHP 언어에서는 최대 70%까지 향상되었다.
• 제거 실험을 통해 소프트 데이터 증강과 모멘타움 기반 음성 샘플 큐가 모두 필수적인 구성 요소임을 확인하였으며, 각각 성능 향상에 기여하는 데 기여하였다.
• RoBERTa, CodeBERT, GraphCodeBERT, UniXcoder와 같은 다양한 사전 훈련된 모델에서 일관되게 성능 향상을 보이며, 다양한 아키텍처에 대해 수직적이고 일반화 가능한 성능을 보였다.
• 다양한 하이퍼파라미터 설정 하에서도 프레임워크는 강력한 성능을 유지하며, 다양한 구성에서도 견고함을 입증하였다.