[논문 리뷰] Data-Driven Program Completion

Yanxin Lu, Swarat Chaudhuri외 2명|arXiv (Cornell University)|2017. 05. 25.

Software Engineering Research참고 문헌 20인용 수 11

한 줄 요약

이 논문은 프로그래머가 제공한 초안(부분적으로 작성된 코드, 주석, 테스트 케이스 포함)과 350만 개의 실제 Java 스니펫으로 구성된 데이터베이스를 결합하여 코드 완성 작업을 자동화하는 데이터 기반 합성 접근법인 프로그램 스플리싱을 소개한다. 이 방법은 관련성 기반 스니펫 검색과 코드릿의 조합적 순열을 통해 효율적으로 프로그램을 완성하며, 자동화된 벤치마크와 사용자 연구에서 뚜렷한 생산성 향상을 보였다.

ABSTRACT

We introduce program splicing, a programming methodology that aims to automate the commonly used workflow of copying, pasting, and modifying code available online. Here, the programmer starts by writing a "draft" that mixes unfinished code, natural language comments, and correctness requirements in the form of test cases or API call sequence constraints. A program synthesizer that interacts with a large, searchable database of program snippets is used to automatically complete the draft into a program that meets the requirements. The synthesis process happens in two stages. First, the synthesizer identifies a small number of programs in the database that are relevant to the synthesis task. Next it uses an enumerative search to systematically fill the draft with expressions and statements from these relevant programs. The resulting program is returned to the programmer, who can modify it and possibly invoke additional rounds of synthesis. We present an implementation of program splicing for the Java programming language. The implementation uses a corpus of over 3.5 million procedures from an open-source software repository. Our evaluation uses the system in a suite of everyday programming tasks, and includes a comparison with a state-of-the-art competing approach as well as a user study. The results point to the broad scope and scalability of program splicing and indicate that the approach can significantly boost programmer productivity.

연구 동기 및 목표

• 온라인 자료에서 코드를 복사-붙여넣기하는 일반적이지만 실수를 유발하기 쉬운 관행을 원칙적이고 자동화된 대안으로 대체하기 위해.
• 외부 코드 통합 시 수동 수정과 디버깅의 부담을 줄이기 위해 맥락 인식 프로그램 합성을 가능하게 하여.
• 오픈소스 리포지터리에서 확보한 실제 세계의 코드를 지식 기반으로 활용하여 프로그램 합성의 확장성과 정확성을 향상시키기 위해.
• 자연어 주석과 테스트 케이스를 사양으로 사용하여 프로그래머가 부분적으로 작성된 프로그램을 최소한의 수동 작업으로 완성할 수 있도록 지원하기 위해.
• 실제 프로그래밍 작업에서 데이터 기반 합성의 효과성을 평가하고 최신 기술과 비교하기 위해.

제안 방법

• 시스템은 부분적으로 작성된 코드, 자연어 주석, 정확성 제약 조건(예: 테스트 케이스 또는 API 호출 시퀀스)을 포함한 프로그래머의 초안을 수용한다.
• 오픈소스 리포지터리에서 추출한 350만 개의 Java 메서드로 구성된 데이터베이스를 활용하여 초안의 내용에 기반해 의미적으로 관련된 코드 스니펫을 검색한다.
• 관련 스니펫을 분석하여 초안의 빈 부분을 채울 가능성이 높은 재사용 가능한 표현식과 문장(코드릿)을 추출한다.
• 해시 함수에 의해 탐색 공간을 줄이는 히우리스틱을 기반으로, 이 코드릿들을 초안과 체계적으로 조합하는 순열적 검색 알고리즘을 적용한다.
• 합성 과정은 반복적이다: 결과 프로그램은 추가적인 완성 라운드를 위해 다시 수정 및 제출될 수 있다.
• 통계 모델을 피하고 실제 인간이 작성한 코드를 대상으로 조합적 검색을 수행함으로써, 무의미하거나 문법적으로 잘못된 출력의 위험을 줄인다.

실험 결과

연구 질문

• RQ1 오픈소스 리포지터리에서 확보한 실제 코드 스니펫을 활용하여 데이터 기반 합성 접근법이 부분적으로 작성된 프로그램의 완성을 효과적으로 자동화할 수 있는가?
• RQ2 일반적인 프로그래밍 작업에서 μScalpel과 같은 기존 합성 도구와 비교해 프로그램 스플리싱의 성능과 사용성은 어떠한가?
• RQ3 실제 프로그래밍 상황에서 프로그램 스플리싱이 프로그래머의 노력과 생산성을 얼마나 줄일 수 있는가?
• RQ4 실제 프로그램에서 유래한 코드릿의 사용이 정확하고 가독성이 좋은 해결책으로 향하는 합성 과정을 얼마나 효과적으로 이끌 수 있는가?
• RQ5 최소한의 사양으로 알고리즘 수정, GUI 개발, 컴ponent 프로토타이핑과 같은 다양한 프로그래밍 작업을 처리할 수 있는가?

주요 결과

• 시스템은 자연어 주석과 테스트 케이스만을 입력으로 사용하여 일상적인 프로그래밍 작업(알고리즘 수정, GUI 개발, HTTP 서버 프로토타이핑 포함)을 성공적으로 완료했다.
• 최신 기술인 μScalpel과 비교해 프로그램 스플리싱은 더 넓은 적용 범위와 더 높은 성공률를 보였다.
• 사용자 연구 결과, 프로그램 스플리싱을 사용한 개발자들은 기존 복사-붙여넣기 워크플로우에 비해 훨씬 빠르게 작업을 완료했고, 오류도 더 적게 일으켰다.
• 높은 확장성을 달성하여 350만 개의 Java 메서드로 구성된 코퍼스에서 낮은 지연 시간으로 합성 작업을 처리했다.
• 실제 생산 코드에서 유래한 실제 코드릿의 사용은 합성된 프로그램의 가독성과 정확성을 향상시켜 의미적 또는 문법적 버그 발생 가능성을 낮췄다.
• 반복적 합성 라운드를 통해 결과의 정교화가 가능했으며, 개발자들이 최소한의 재작업으로 생성된 코드를 반복적으로 개선하고 적응할 수 있었다.