[논문 리뷰] SPoC: Search-based Pseudocode to Code

Sumith Kulal, Panupong Pasupat외 5명|arXiv (Cornell University)|2019. 06. 12.

Software Testing and Debugging Techniques참고 문헌 45인용 수 11

한 줄 요약

이 논문은 편집 오류 신호를 통한 신뢰도 할당을 활용하여 의사코드에서 코드로의 번역을 향상시키는 검색 기반 프레임워크인 SPoC을 제안한다. 다중분류 또는 접두사 기반 정제를 통해 오류가 발생한 의사코드 라인 번역을 국소화함으로써, 100번의 컴파일 예산 내에서 기능적 정확도를 25.6%에서 44.7%로 향상시켰다. 이는 인간이 작성한 의사코드와 테스트 케이스를 포함한 새로운 18,356개 샘플 데이터셋에서 최상위 단일 번역 기반 베이스라인을 크게 능가한다.

ABSTRACT

We consider the task of mapping pseudocode to long programs that are functionally correct. Given test cases as a mechanism to validate programs, we search over the space of possible translations of the pseudocode to find a program that passes the validation. However, without proper credit assignment to localize the sources of program failures, it is difficult to guide search toward more promising programs. We propose to perform credit assignment based on signals from compilation errors, which constitute 88.7% of program failures. Concretely, we treat the translation of each pseudocode line as a discrete portion of the program, and whenever a synthesized program fails to compile, an error localization method tries to identify the portion of the program responsible for the failure. We then focus search over alternative translations of the pseudocode for those portions. For evaluation, we collected the SPoC dataset (Search-based Pseudocode to Code) containing 18,356 programs with human-authored pseudocode and test cases. Under a budget of 100 program compilations, performing search improves the synthesis success rate over using the top-one translation of the pseudocode from 25.6% to 44.7%.

연구 동기 및 목표

• 자연어 의사코드와 테스트 케이스로부터 장기간의 기능적으로 정확한 프로그램을 합성하는 데 도전하는 것.
• 프로그램 합성에서 희박한 피드백 문제를 해결하기 위해 컴파일 오류를 표적화된 신뢰도 할당의 근원으로 활용하는 것.
• 오류 메시지와 의사코드 컨텍스트를 활용하여 오류가 발생한 의사코드 라인 번역을 국소화함으로써 검색 효율성을 향상시키는 것.
• 기능적 정확도 평가를 위해 인간이 작성한 의사코드와 다수의 테스트 케이스를 포함한 새로운 대규모 데이터셋을 활용하여 방법을 평가하는 것.
• 오류 기반 신뢰도 할당이 단순히 최상위 번역에 의존하는 것보다 더 효과적인 검색을 가능하게 한다는 것을 입증하는 것.

제안 방법

• 각 의사코드 라인을 이산 번역 단위로 간주하여 개별 라인에 대한 대체 코드 번역을 검색할 수 있도록 하는 것.
• 컴파일 실패를 실패 분석의 주요 신호로 사용하는 것. 왜냐하면 실패의 88.7%가 컴파일 오류 때문이기 때문이다.
• 오류 메시지와 의사코드 컨텍스트를 입력으로 사용하여 컴파일 실패 원인이 가장 클 것으로 예측되는 단일 코드 라인을 다중분류 모델을 통해 예측하는 것.
• 오류가 발생한 코드 접두사를 식별하고 블랙리스트에 등재함으로써 잘못된 접두사를 제거하는 접두사 기반 정제를 구현하는 것. 이는 검색 과정에서 오직 정확한 접두사만 유지됨을 보장한다.
• 오류 국소화를 최선 우선 검색 전략에 통합하여 문제 있는 번역을 가중치를 낮추거나 블랙리스트에 올림으로써 정확한 프로그램으로 향하는 검색을 이끌어내는 것.
• 테스트 케이스를 사용하여 기능적 정확도를 검증하며, 컴파일 오류를 주요 피드백으로 사용하여 신뢰도 할당을 수행하는 것.

실험 결과

연구 질문

• RQ1 컴파일 오류 신호는 의사코드에서 코드로의 번역을 위한 검색을 이끄는 데 효과적으로 활용될 수 있는가?
• RQ2 컴파일 결과 기반 오류 국소화는 표준 검색 방법에 비해 합성 성공률을 향상시키는 데 얼마나 효과적인가?
• RQ3 의사코드 컨텍스트를 통합함으로써 모호한 경우의 오류 국소화 정확도를 향상시킬 수 있는가?
• RQ4 접두사 기반 정제는 더 어려운 프로그램에서 다중분류 모델에 비해 성능이 뛰어나게 되는가?
• RQ5 컴파일 오류 기반 신뢰도 할당은 성공적인 합성에 필요한 컴파일 횟수를 어느 정도 줄일 수 있는가?

주요 결과

• 100번의 프로그램 컴파일 예산 내에서 제안된 검색 기반 방법은 44.7%의 성공률을 달성했으며, 의사코드의 최상위 번역 방식은 25.6%에 그쳤다.
• 다중분류 오류 국소화 모델은 15.5%의 프로그램에서 중앙값으로 26회의 합성 시도를 줄였고, 중앙값 상대 감소율은 42%였다.
• 접두사 기반 정제는 더 어려운 프로그램에서 다중분류 모델을 능가했으며, 더 쉽게 해결되는 프로그램에서는 약간의 컴파일 횟수 증가가 있었음에도 불구하고, 더 정확한 실패 국소화 덕분에 더 나은 성능을 보였다.
• SPoC 데이터셋은 인간이 작성한 의사코드와 다수의 테스트 케이스를 포함한 C++ 프로그램 18,356개로 구성되어 있으며, 기능적 정확도 평가에 기여한다.
• 오류 메시지와 의사코드 컨텍스트를 모두 사용한 오류 국소화는 다수의 수정 가능한 문법 오류를 구분할 수 있는 모호한 경우에서 정확도를 향상시킨다.
• 사례 연구에서 접두사 기반 정제는 오류가 발생한 코드 접두사를 조기에 탐지하고 제거하여 시도 횟수를 1,511회에서 413회로 줄였지만, 다중분류 모델은 잘못된 국소화로 실패했다.