[논문 리뷰] Learning to Improve Code Efficiency

Binghong Chen, Daniel Tarlow외 6명|arXiv (Cornell University)|2022. 08. 09.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 대규모 경쟁 프로그래밍 데이터셋에서 성능 최적화 코드 수정을 학습하고 생성하기 위해 이산 변분 오토인코더(Edit-VQVAE)를 제안한다. 효율적인 코드 변환을 이산 잠재 변수로 모델링함으로써, 정확도, 효율성, 다양성 측면에서 순차적-순차적 기준 모델보다 뛰어난 성능을 보이며, 기계학습을 통해 개발자가 이해할 수 있고 실행 가능한 피드백을 제공함으로써 고성능 코드로의 안내가 가능하다는 것을 입증한다.

ABSTRACT

Improvements in the performance of computing systems, driven by Moore's Law, have transformed society. As such hardware-driven gains slow down, it becomes even more important for software developers to focus on performance and efficiency during development. While several studies have demonstrated the potential from such improved code efficiency (e.g., 2x better generational improvements compared to hardware), unlocking these gains in practice has been challenging. Reasoning about algorithmic complexity and the interaction of coding patterns on hardware can be challenging for the average programmer, especially when combined with pragmatic constraints around development velocity and multi-person development. This paper seeks to address this problem. We analyze a large competitive programming dataset from the Google Code Jam competition and find that efficient code is indeed rare, with a 2x runtime difference between the median and the 90th percentile of solutions. We propose using machine learning to automatically provide prescriptive feedback in the form of hints, to guide programmers towards writing high-performance code. To automatically learn these hints from the dataset, we propose a novel discrete variational auto-encoder, where each discrete latent variable represents a different learned category of code-edit that increases performance. We show that this method represents the multi-modal space of code efficiency edits better than a sequence-to-sequence baseline and generates a distribution of more efficient solutions.

연구 동기 및 목표

• 코드에서 더 높은 수준의 성능 최적화를 식별하고 적용하는 데 도전하는 것. 이는 복잡성과 하드웨어 상호작용으로 인해 개발자가 이해하기 어려운 분야이기 때문이다.
• 실제 경쟁 프로그래밍 솔루션에서 고성능 코드의 희소성과 특성에 대해 연구하는 것. 이 경우 성능 편차가 매우 크다.
• 개발자가 더 빠른 코드를 작성하도록 안내하기 위해 실행 가능한 피드백을 생성하는 기계학습 프레임워크를 개발하는 것.
• 다양한 성능 최적화 코드 수정의 다중 모달 공간을 이산 잠재 변수 구조로 모델링함으로써, 이해 가능하고 다양한 수정을 가능하게 하는 것.
• 학습된 이산 수정이 표준 순차적-순차적 모델보다 정확도, 효율성, 다양성 측면에서 뛰어난 코드 변환을 생성할 수 있음을 입증하는 것.

제안 방법

• 학습된 잠재 사전을 갖춘 이산 변분 오토인코더(VQ-VAE)를 사용하며, 각 이산 잠재 코드는 성능 최적화 수정의 고유한 유형에 대응한다.
• 모델은 구글 코드 잼 솔루션에서 유도된 표준화된 코드 수정 데이터셋을 기반으로 훈련되며, 느린 프로그램을 의미적으로 동일한 빠른 버전으로 매핑한다.
• 입력 및 출력 코드를 모델링하기 위해 트랜스포머 기반의 인코더와 디코더를 사용하며, 이산 잠재 공간 덕분에 안정적인 훈련과 후행 붕괴 방지를 달성한다.
• 모델은 루프를 내장 함수로 대체하거나, 데이터 구조를 변경(예: 리스트에서 힙으로), 조기 종료를 활성화하는 등의 수정을 학습한다.
• 주어진 프로그램에 조건을 걸어 동일한 입력에 대해 다수의 서로 다른 효율적인 변환을 제안할 수 있도록 프레임워크를 설계한다.
• 정확도, 효율성(실행 시간 감소 측정), 생성된 수정의 다양성 측면에서 평가하며, 순차적-순차적 기준 모델과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 실제 프로그래밍 데이터에서 고품질의 성능 최적화 코드 수정을 학습하여 생성할 수 있는가?
• RQ2 이산 잠재 변수 모델은 순차적-순차적 모델 대비 효율적 코드 변환의 다중 모달 공간을 얼마나 잘 포괄하는가?
• RQ3 학습된 이산 잠재 변수는 성능 향상에 기여하는 일관되고 이해 가능한 코드 수정 패턴에 대응하는가?
• RQ4 이러한 모델은 실세계 환경에서 기준 모델보다 뛰어난 정확도, 효율성, 다양성을 갖춘 다양한 코드 수정을 생성할 수 있는가?
• RQ5 생성된 수정들이 알고리즘적 개선, 데이터 구조 선택, 라이브러리 사용과 같은 알려진 성능 최적화 패턴을 어느 정도 반영하는가?

주요 결과

• 경쟁 프로그래밍에서 고성능 코드는 흔하지 않다: 90번째 백분위수 솔루션은 중앙값보다 2배 이상 느리게 실행되며, 이는 효율적인 코드를 작성하는 데의 과제를 강조한다.
• 제안된 Edit-VQVAE 모델은 정확도, 효율성, 생성된 수정의 다양성이라는 세 가지 평가 축에서 순차적-순차적 기준 모델을 모두 압도한다.
• 학습된 이산 잠재 변수는 일관되고 이해 가능한 코드 수정 패턴에 대응하며, 예를 들어 for 루프에서 while 루프로 전환하거나, 사용자 정의 루프를 내장 함수 map으로 대체하는 것과 같은 패턴을 포함한다.
• 모델은 조기 종료, 효율적인 데이터 구조(예: 힙), API 호출 수 감소와 같은 최적화를 성공적으로 식별하고 적용하며, 이는 측정 가능한 성능 향상을 이끈다.
• 모델은 입력 코드의 의미적으로 올바르고 효율적인 변형을 생성하며, 안전하고 효과적인 수정을 제공한다. 이는 테스트 예제를 통한 검증으로 입증되었다.
• 학습된 잠재 공간은 이해 가능하며, 개별 잠재 코드가 일관되게 특정 유형의 성능 최적화 변환에 대응한다.