[논문 리뷰] Synthesize, Execute and Debug: Learning to Repair for Neural Program Synthesis

Kavi Gupta, Peter Ebert Christensen외 2명|arXiv (Cornell University)|2020. 07. 16.

Software Testing and Debugging Techniques참고 문헌 30인용 수 12

한 줄 요약

이 논문은 합성, 실행, 반복적 디버깅을 통합하여 프로그램 정확도를 향상시키는 신경망 프로그램 합성 프레임워크 SED를 제안한다. 실행 트레이스와 신경망 디버거를 활용해 후보 프로그램을 반복적으로 수리함으로써 SED는 Karel 벤치마크에서 오류율을 크게 감소시키며, 기본 합성기와 표준 빔 서치 디코딩을 모두 능가한다.

ABSTRACT

The use of deep learning techniques has achieved significant progress for program synthesis from input-output examples. However, when the program semantics become more complex, it still remains a challenge to synthesize programs that are consistent with the specification. In this work, we propose SED, a neural program generation framework that incorporates synthesis, execution, and debugging stages. Instead of purely relying on the neural program synthesizer to generate the final program, SED first produces initial programs using the neural program synthesizer component, then utilizes a neural program debugger to iteratively repair the generated programs. The integration of the debugger component enables SED to modify the programs based on the execution results and specification, which resembles the coding process of human programmers. On Karel, a challenging input-output program synthesis benchmark, SED reduces the error rate of the neural program synthesizer itself by a considerable margin, and outperforms the standard beam search for decoding.

연구 동기 및 목표

• 신경망 합성기의 의미적 복잡성으로 인해 입력-출력 예제로부터 정확한 프로그램을 합성하지 못할 때의 과제를 해결하기 위해.
• 실행 피드백을 사용해 잘못된 프로그램을 수정하는 디버깅 단계를 통합함으로써 프로그램 합성 성능을 향상시키기 위해.
• 인간의 디버깅과 유사한 반복적 프로세스로 프로그램 수리를 모델링함으로써 강건성과 일반화 능력을 향상시키기 위해.
• 신경망 디버거가 기본 합성기의 성능을 크게 향상시킬 수 있음을 입증하기 위해, 특히 합성기가 빔 서치나 게리 디코딩을 사용하는 경우에도 말이다.

제안 방법

• SED는 입력-출력 예제에 기반해 훈련된 신경망 프로그램 합성기를 사용해 후보 프로그램을 먼저 생성한다.
• 각 후보 프로그램은 실행되어 실행 트레이스를 생성하며, 이는 디버깅을 위한 의미적 피드백을 제공한다.
• 신경망 디버거 컴포넌트는 가장 유망한 프로그램을 선택하고, 실행 결과와 명세 제약 조건을 바탕으로 편집 연산을 적용한다.
• 디버거는 여러 단계에 걸쳐 프로그램을 반복적으로 수정하며, 문법적 구조와 의미적 실행 트레이스를 모두 활용해 수리를 이끈다.
• 감독 훈련 중 디버거의 프로그램 별칭 문제를 완화하기 위해 이중 단계 훈련 체계를 사용한다.
• 이 방법은 Karel 벤치마크에서 평가되었으며, 기본 합성기와 빔 서치 디코딩 전략 모두를 능가하는 성능을 보였다.

실험 결과

연구 질문

• RQ1 실행 트레이스에 의해 이끌리는 반복적 프로그램 수리가 직접 합성보다 신경망 프로그램 합성 성능을 향상시킬 수 있는가?
• RQ2 신경망 디버거를 통합하면 의미적으로 복잡한 입력-출력 벤치마크에서 프로그램 합성기의 오류율에 어떤 영향을 미치는가?
• RQ3 디버거가 의미적 실행 트레이스를 활용할 수록 순수 문법적 또는 히우리스틱 방법보다 더 나은 수리 결과를 낼 수 있는가?
• RQ4 합성기가 이미 검색 또는 실행 피드백을 사용하는 경우, SED 프레임워크가 빔 서치와 같은 표준 디코딩 전략을 능가할 수 있는가?
• RQ5 디버거는 문법적으로 참값에서 멀리 떨어진 프로그램을 어느 정도 복구할 수 있는가?

주요 결과

• SED는 Karel 벤치마크에서 기본 신경망 프로그램 합성기의 오류율을 상당한 폭으로 감소시킨다.
• 합성기가 게리 디코딩(단일 후보 생성)을 사용하는 경우조차도, SED는 최종 정확도 측면에서 빔 서치 디코딩을 능가한다.
• 신경망 디버거의 통합은 성능 향상에 상당한 기여를 하며, 디버깅이 합성과 가치 있는 보완이 될 수 있음을 보여준다.
• 이중 단계 훈련 체계는 프로그램 별칭 문제를 효과적으로 완화하며, 분포 이탈에도 불구하고 강력한 일반화 능력을 보여준다.
• 이 프레임워크는 기반 합성기 모델의 선택에 관계없이 성능 향상을 이룬다. 이는 광범위한 적용 가능성을 시사한다.
• 실행 트레이스는 특히 부분 실행이 모호한 루프를 포함한 프로그램에서 의미적 오류를 식별하고 수정하는 데 핵심적인 역할을 한다.