[논문 리뷰] DOBF: A Deobfuscation Pre-Training Objective for Programming Languages

Baptiste Rozière, Marie-Anne Lachaux외 2명|arXiv (Cornell University)|2021. 02. 15.

Software Engineering Research참고 문헌 58인용 수 17

한 줄 요약

이 논문은 프로그래밍 언어를 위한 새로운 사전학습 목표인 DOBF를 제안한다. DOBF는 가시성 없는 변수 및 함수 이름을 복원함으로써 소스 코드의 복원을 학습시킨다. 코드의 구조적 의미를 활용함으로써, 코드 검색, 번역, 요약 등의 후행 작업에서 BERT 스타일의 MLM 및 기존 코드 모델을 능가하며, 상대적 성능 향상 최대 12.2%를 달성하고, 완전한 복원 및 의미 있는 이름 제안을 가능하게 한다.

ABSTRACT

Recent advances in self-supervised learning have dramatically improved the state of the art on a wide variety of tasks. However, research in language model pre-training has mostly focused on natural languages, and it is unclear whether models like BERT and its variants provide the best pre-training when applied to other modalities, such as source code. In this paper, we introduce a new pre-training objective, DOBF, that leverages the structural aspect of programming languages and pre-trains a model to recover the original version of obfuscated source code. We show that models pre-trained with DOBF significantly outperform existing approaches on multiple downstream tasks, providing relative improvements of up to 13% in unsupervised code translation, and 24% in natural language code search. Incidentally, we found that our pre-trained model is able to de-obfuscate fully obfuscated source files, and to suggest descriptive variable names.

연구 동기 및 목표

• 표준 마스크된 언어 모델링(MLM)이 코드 전용 구조적 특성을 활용하지 못하는 데 기인한 한계를 해결하기 위해.
• 가시성 없는 코드에서 의미 있는 식별자를 복원함으로써 코드 사전학습을 향상시키기 위해 복원 목표를 도입하기 위해.
• 랜덤 마스킹보다 더 의미 있는 노이즈 함수를 사용함으로써 코드의 더 깊은 의미적 표현을 학습시키기 위해.
• 자연어 정렬 데이터가 필요 없이도 다양한 코드 이해 작업에서 최신 성능을 달성할 수 있음을 입증하기 위해.
• 코드 의미에 기반한 구조적 노이즈가 비구조적 노이즈보다 자기지도 학습에서 더 우수한 성능을 낼 수 있는지 탐색하기 위해.

제안 방법

• DOBF 목표는 일련의 시퀀스-투-시퀀스 모델을 사용하여, 모든 변수 및 함수 이름이 'VAR_1', 'VAR_2' 등의 일반 토큰으로 대체된 가시성 없는 버전에서 원본 소스 코드를 재구성하도록 훈련시킨다.
• 가시화는 식별자당 0.5의 확률로 적용되며, 동일한 변수의 모든 발생은 동일한 자리표시 토큰으로 일관되게 마스킹된다.
• 모델은 복원 자동에코딩 목표를 사용하여 사전학습되며, 입력은 가시성 없는 코드이고, 타겟은 원본 소스 코드이다.
• DOBF는 복원 자동에코딩(DAE) 목표와 결합되어 표현 학습을 더욱 향상시키며, 토큰 제거 및 셔플링을 통해 손상된 시퀀스를 복구하도록 모델을 훈련시킨다.
• 모델은 무작위 가중치 또는 사전학습된 MLM 체크포인트(RoBERTa 등)에서 초기화되어 성능에 미치는 초기화의 영향을 평가한다.
• 해당 접근법은 다수의 프로그래밍 언어 및 작업에 대해 평가되며, 비지도 코드 번역, 자연어 기반 코드 검색, 코드 요약, 클론 탐지 등이 포함된다.

실험 결과

연구 질문

• RQ1 가시화 기반 사전학습 목표가 프로그래밍 언어 표현 학습에서 표준 마스크된 언어 모델링(MLM)보다 우월한가?
• RQ2 DOBF로 사전학습하면 코드 검색 및 번역과 같은 후행 코드 이해 작업에서 성능 향상이 이루어지는가?
• RQ3 DOBF로 사전학습된 모델은 완전히 가시화된 소스 코드를 성공적으로 복원하고 의미 있는 변수 이름을 제안할 수 있는가?
• RQ4 자연어 정렬 코드 데이터가 없을 때 DOBF가 MLM 및 기타 사전학습 목표보다 더 효과적인가?
• RQ5 DOBF를 DAE와 같은 다른 목표와 결합하면 코드 관련 작업에서 성능 향상이 더욱 향상되는가?

주요 결과

• DOBF 사전학습은 기준 모델 대비 비지도 코드 번역 정확도에서 상대적 12.2% 향상률을 기록했다.
• 자연어 기반 코드 검색 작업에서는 기존 방법 대비 5.3% 상대적 성능 향상률을 기록했으며, CodeBERT 및 GraphCodeBERT를 능가했다.
• DOBF+DAE 모델은 범위 크기가 10인 경우, 자바에서 파이썬으로의 비지도 코드 번역에서 계산 정확도에서 6.8% 향상되었다.
• 무작위 초기화 상태에서도 DOBF는 클론 탐지에서 MLM을 능가했으며, 이는 복원 목표 자체가 강력한 인덕티브 바이어스를 제공한다는 것을 시사한다.
• DOBF로 사전학습된 모델는 완전히 가시화된 소스 파일을 복원하고 기술적인 변수 이름을 제안할 수 있으며, 이는 사전학습을 넘어서 실용적 유용성을 보여준다.
• MLM에서 초기화된 DOBF에 DAE를 결합하면, DOBF 단독 또는 MLM 대비 모든 평가 작업에서 더 높은 성능을 기록했으며, 구조적 노이즈와 비구조적 노이즈의 상호보완적 이점이 입증되었다.