[논문 리뷰] On Repair with Probabilistic Attribute Grammars

Manos Koukoutos, Mukund Raghothaman외 2명|arXiv (Cornell University)|2017. 07. 13.

Software Engineering Research참고 문헌 4인용 수 4

한 줄 요약

이 논문은 효율적인 프로그램 복구를 위한 문법적 및 의미적 사양을 통합하는 확률적 속성 문법 프레임워크를 제안한다. 입력-출력 예제, 사전 및 사후 조건, 그리고 코퍼스에서 유도된 확률적 문법을 결합함으로써, 프로그램 공간에서 확장 가능하고 A* 기반의 탐색을 가능하게 하여, 기존 비확률적 방법이 다룰 수 없는 복잡한 코드 조각에서 뛰어난 성능을 발휘한다.

ABSTRACT

Program synthesis and repair have emerged as an exciting area of research, driven by the potential for revolutionary advances in programmer productivity. Among most promising ideas emerging for synthesis are syntax-driven search, probabilistic models of code, and the use of input-output examples. Our paper shows how to combine these techniques and use them for program repair, which is among the most relevant applications of synthesis to general-purpose code. Our approach combines semantic specifications, in the form of pre- and post-conditions and input-output examples with syntactic specifications in the form of term grammars and AST-level statistics extracted from code corpora. We show that synthesis in this framework can be viewed as an instance of graph search, permitting the use of well-understood families of techniques such as A*. We implement our algorithm in a framework for verification, synthesis and repair of functional programs, demonstrating that our approach can repair programs that are beyond the reach of previous tools.

연구 동기 및 목표

• 프로그래밍 복구의 확장성과 정밀도 도전 과제를 해결하기 위해 문법적 및 의미적 사양을 통합하기 위해.
• 코드 코퍼스에서 유도된 확률적 문법을 자동으로 추출함으로써 수동 사양의 부담을 줄이기 위해.
• 동적 입력 예제와 확률적 문법의 편향을 통합함으로써 프로그램 합성의 탐색 효율성을 향상시키기 위해.
• 기존 비확률적 복구 도구의 능력 범위를 초월하는 복잡한 프로그램의 복구를 가능하게 하기 위해.
• 스칼라에서 구현된 도메인 특화 확장 가능 도메인 특정 언어(DSL)를 사용하여 수동 및 자동 문법 작성 모두를 지원하기 위해.

제안 방법

• 프레임워크는 프로그램 합성의 탐색 공간을 제한하고 우선순위를 정하기 위해 확률적이고 다형성 있는 속성 문법을 사용한다.
• 기존 입력 예제를 기반으로 한 부분 평가를 통한 가지치기 방식의 상향식 A*-유사 탐색 알고리즘을 적용한다.
• 입력-출력 예제에 대한 동치성은 탐색에 통합되어 기능적으로 동일한 표현의 중복 탐색을 방지한다.
• 수동으로 작성된 문법과 PureScala 프로그램 코퍼스에서 추출된 자동 문법을 모두 지원한다.
• 문법 규칙은 @production 어노테이션과 빈도 가중치가 부여된 스칼라 함수로 표현되어 동적 규칙 인스턴스화를 가능하게 한다.
• 속성과 함께 래퍼 타입을 사용하여 의미적 제약(예: 연산자 결합성)을 인코딩함으로써 탐색 효율성과 표현력을 향상시킨다.

실험 결과

연구 질문

• RQ1 확률적 속성 문법은 표현력을 유지하면서도 프로그램 복구에서 탐색 공간을 효과적으로 줄일 수 있는가?
• RQ2 코퍼스 기반 문법 추출은 수동으로 작성하거나 기본 문법을 사용한 경우에 비해 합성 성능을 어떻게 향상시키는가?
• RQ3 동적 입력 예제와 제약 조건 해결기의 통합은 복구 합성의 정밀도를 얼마나 향상시킬 수 있는가?
• RQ4 입력-출력 예제에 대한 동치성 통합은 상향식 합성 설정에서 탐색 효율성을 어떻게 향상시킬 수 있는가?
• RQ5 문법에 도메인 특화 속성을 사용할 경우 프로그램 복구의 확장성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 프레임워크는 비확률적 복구 도구가 다룰 수 없는 프로그램을 성공적으로 복구하여 복잡한 코드 조각에서의 확장성을 입증하였다.
• 코퍼스 기반 문법은 합성 성능을 크게 향상시켜 실제 복구 작업에서 탐색 시간을 단축시키고 성공률를 높였다.
• 입력-출력 예제의 통합은 오류가 발생한 표현의 효율적 국소화를 가능하게 하였으며, 정확한 복구 방향으로의 합성을 이끌었다.
• 속성을 가진 확률적 문법의 사용은 의미적으로 중복되거나 잘못된 표현의 효과적인 가지치기를 가능하게 하여 탐색 효율성을 향상시켰다.
• 부분 평가와 동치성 처리를 통한 상향식 탐색은 하향식 방법과 유사한 성능을 달성하였지만, 공간과 시간 효율성이 더 뛰어났다.
• 프레임워크는 수동 및 자동 문법 작성 모두를 지원하여 최소한의 사용자 입력으로도 여러 합성 문제에 재사용 가능하다.