[논문 리뷰] Leveraging Automated Unit Tests for Unsupervised Code Translation

Baptiste Rozière, Jie M. Zhang외 4명|arXiv (Cornell University)|2021. 10. 13.

Software Testing and Debugging Techniques참고 문헌 52인용 수 10

한 줄 요약

이 논문은 백트랜스레이션을 통해 생성된 노이즈가 많은 번역을 다듬기 위해 다국어 단위 테스트를 활용하는 새로운 비지도 코드 번역 방법을 제안한다. 실행 가능한 테스트 세트를 기반으로 후보 번역을 검증함으로써, 더 높은 품질의 의미적으로 올바른 코드를 생성하며, 기존 최신 기술 대비 파이썬→C++ 번역에서 최대 24% 향상된 정확도를 기록하고 오류율을 35% 이상 감소시킨다.

ABSTRACT

With little to no parallel data available for programming languages, unsupervised methods are well-suited to source code translation. However, the majority of unsupervised machine translation approaches rely on back-translation, a method developed in the context of natural language translation and one that inherently involves training on noisy inputs. Unfortunately, source code is highly sensitive to small changes; a single token can result in compilation failures or erroneous programs, unlike natural languages where small inaccuracies may not change the meaning of a sentence. To address this issue, we propose to leverage an automated unit-testing system to filter out invalid translations, thereby creating a fully tested parallel corpus. We found that fine-tuning an unsupervised model with this filtered data set significantly reduces the noise in the translations so-generated, comfortably outperforming the state-of-the-art for all language pairs studied. In particular, for Java $ o$ Python and Python $ o$ C++ we outperform the best previous methods by more than 16% and 24% respectively, reducing the error rate by more than 35%.

연구 동기 및 목표

• 병행 데이터가 부족하고 신경망 모델이 입력 노이즈에 민감한 저자원 비지도 소스 코드 번역 문제를 해결하기 위해.
• 소수의 토큰 수준 변경으로 인해 잘못되거나 의미적으로 잘못된 코드를 생성하는 백트랜스레이션으로 인한 번역 오류를 줄이기 위해.
• 자동화된 단위 테스트를 의미 검증 메커니즘으로 활용해 정확하거나 실행 가능한 번역만 필터링함으로써 번역 품질을 향상시키기 위해.
• 서로 다른 언어로 된 비병행 소스 코드에서 테스트된 병행 단일 언어 코퍼스를 생성하여 비지도 모델의 보다 나은 미세조정을 가능하게 하기 위해.
• 테스트 기반 필터링이 병행 학습 데이터가 없이도 번역 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 서로 다른 프로그래밍 언어의 비병행 소스 코드에서 백트랜스레이션을 사용해 가짜 병행 단일 언어 데이터를 생성한다.
• 기존의 다국어 단위 테스트 세트를 활용해 후보 번역을 검증하고, 실행에 실패하는 번역은 기각한다.
• 모든 단위 테스트를 통과한 번역만이 고신뢰도 가짜 병행 예제로 유지되어 비지도 모델의 미세조정에 사용된다.
• 필터링된, 테스트를 통과한 번역 데이터를 기반으로 모델을 미세조정함으로써 의미적으로 올바른 코드를 더 잘 생성할 수 있도록 한다.
• 이 방법은 오프라인 필터링(사전 처리)과 온라인 필터링(학습 중)을 모두 지원하며, 후자의 경우 번역을 동적으로 재평가한다.
• 이 방법은 TransCoder와 같은 기존 비지도 코드 번역 프레임워크와 호환되며, 테스트 생성기가 존재하는 다른 언어로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 자동화된 단위 테스트를 사용해 백트랜스레이션을 통해 생성된 잘못되거나 컴iles되지 않는 코드 번역을 필터링할 수 있는가?
• RQ2 실행 가능한 테스트 결과를 사용해 번역을 필터링하면 코드 번역 정확도에 측정 가능한 향상이 이루어지는가?
• RQ3 테스트 기반 필터링은 표준 백트랜스레이션 대비 번역 오류율을 얼마나 줄이는가?
• RQ4 이 방법은 의미적 차이가 큰 다양한 프로그래밍 언어 쌍(예: 파이썬에서 C++)에 일반화될 수 있는가?
• RQ5 테스트를 통과한 번역이 비지도 설정에서 신뢰할 수 있는 지도 신호로 기능할 수 있는 정도는 어느 정도인가?

주요 결과

• 제안된 방법은 자바→파이썬 번역에서 이전 최신 기술 대비 16.3% 향상되었고, 파이썬→C++ 번역에서는 24.1% 향상되었다.
• 파이썬→C++ 언어 쌍에서 번역 오류율이 35.7% 감소하여 노이즈 감소 효과가 뚜렷하게 입증되었다.
• 연구된 모든 언어 쌍에서 계산 정확도 평균 12.6%포인트 향상이 달성되었다.
• 단위 테스트를 통과한 번역은 외관상 유사해 보여도, 통과하지 못한 번역보다 훨씬 더 정확하고 의미적으로 올바르다.
• 이 방법은 강건하고 일반화 가능하다: 병행 데이터나 언어별 규칙 세트 없이도 성능 향상이 가능하다.
• 단위 테스트가 한 언어(예: 자바)에서만 제공되더라도 이 방법은 다른 언어로도 효과적으로 전이 가능함을 보여주었다.