[논문 리뷰] Interactive Program Synthesis

Vu Le, Daniel Perelman외 4명|arXiv (Cornell University)|2017. 03. 10.

Software Engineering Research참고 문헌 11인용 수 8

한 줄 요약

이 논문은 불완전한 사양으로부터 프로그램 합성의 성능과 정확도를 향상시키기 위해 상호작용을 세 가지 차원: 점진적 합성, 단계 기반 문제 정의, 피드백 기반 의도 정밀 조정으로 체계화함으로써 상호작용 기반 프로그램 합성 프레임워크를 제안한다. 이 접근법은 수렴 속도와 사용자 신뢰도를 크게 향상시키며, 실제 사례 연구에서 대화 기반 명확화가 다른 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Program synthesis from incomplete specifications (e.g. input-output examples) has gained popularity and found real-world applications, primarily due to its ease-of-use. Since this technology is often used in an interactive setting, efficiency and correctness are often the key user expectations from a system based on such technologies. Ensuring efficiency is challenging since the highly combinatorial nature of program synthesis algorithms does not fit in a 1-2 second response expectation of a user-facing system. Meeting correctness expectations is also difficult, given that the specifications provided are incomplete, and that the users of such systems are typically non-programmers. In this paper, we describe how interactivity can be leveraged to develop efficient synthesis algorithms, as well as to decrease the cognitive burden that a user endures trying to ensure that the system produces the desired program. We build a formal model of user interaction along three dimensions: incremental algorithm, step-based problem formulation, and feedback-based intent refinement. We then illustrate the effectiveness of each of these forms of interactivity with respect to synthesis performance and correctness on a set of real-world case studies.

연구 동기 및 목표

• 비프로그래머를 위한 불완전한 사양으로부터 프로그램 합성의 성능과 정확도 도전 과제를 해결하기 위해.
• 점진적, 단계 기반, 피드백 기반 정밀 조정이라는 세 가지 차원에 따라 사용자 상호작용을 체계화하여 프로그램 합성의 상호작용을 정형화하기 위해.
• 사용자 인지 부담을 줄이고, 합성된 프로그램에 대한 신뢰도를 높이기 위해 실행 가능한 상호작용 기반 피드백 메커니즘을 통해.
• 이전 합성 상태를 재사용하고 불필요한 계산을 최소화함으로써 실시간 사용자 기반 시스템에서 효율적인 합성을 가능하게 하기 위해.
• 모호성을 제거하기 위해 명확화 질문을 자동 생성할 수 있는 재사용 가능한 도메인 특화 가설기능 컴포넌트를 개발하기 위해.

제안 방법

• 점진적 알고리즘, 단계 기반 문제 정의, 피드백 기반 의도 정밀 조정라는 세 가지 차원에 따라 프로그램 합성에서 사용자 상호작용을 체계화하기 위해.
• 후보 프로그램을 분석하고 모호성을 줄이기 위한 타겟팅된 명확화 질문을 생성하는 별도의 '가설기능' 컴포넌트를 도입하기 위해.
• 피드백 루프 동안 후보 프로그램 간을 가장 효과적으로 구분할 수 있는 입력 예제를 선택하기 위해 모호성 측정 기반 기법을 사용하기 위해.
• 질의가 레이블이 아닌 실행 가능한 제약 조건이 되도록 하여 새로운 합성 반복을 유도하는 활성 학습 원리를 프로그램 합성에 적응하기 위해.
• 오라클 가이드드 인덕티브 합성(OGIS) 형식론에 상호작용 합성 과정을 매핑하여, CEGIS 변종으로부터 이론적 보장을 확보하기 위해.
• 사용자가 복잡한 작업을 더 작은 관리 가능한 하위 문제로 분해할 수 있도록 허용하는 복합 DSL을 설계하기 위해.

실험 결과

연구 질문

• RQ1 불완전한 사양으로부터 프로그램 합성의 성능과 정확도를 향상시키기 위해 상호작용을 어떻게 체계화 모델링할 수 있는가?
• RQ2 점진적 합성은 사용자 인지 지연을 줄이고 반응성을 향상시키는 데 어떤 역할을 하는가?
• RQ3 대화 기반 명확화와 같은 다양한 피드백 메커니즘이 수렴 속도와 사용자 신뢰도에 어떤 영향을 미치는가?
• RQ4 모호한 후보 프로그램 간의 모호성을 제거하기 위해 자동으로 명확화 질문을 생성할 수 있는 도메인 특화 가설기능을 설계할 수 있는가?
• RQ5 OGIS 형식론은 실시간 피드백을 지원하는 상호작용적, 사용자 가이드드 합성에 얼마나 넓게 확장될 수 있는가?

주요 결과

• 대화 기반 명확화가 수렴 속도와 사용자 신뢰도 모두에서 다른 상호작용 모델을 뛰어넘었으며, 피드백 기반 정밀 조정의 효과성을 입증하였다.
• 점진적 합성은 이전 계산을 재사용함으로써 반응 시간을 단축시켜 상호작용 환경에서 사용자 경험을 크게 향상시켰다.
• 단계 기반 문제 정의 기법은 사용자가 복잡한 작업을 분해할 수 있도록 하여 수렴 속도 향상과 합성 문제의 더 나은 관리성을 이룩하였다.
• 가설기능 컴포넌트는 모호한 입력을 성공적으로 식별하고, 무작위 또는 히ュ리스틱 기반 질의 선택보다 더 효과적으로 후보 프로그램 공간을 축소하는 타겟팅된 질의를 생성하였다.
• 활성 학습 원리를 프로그램 합성에 통합함으로써 더 적은 수의 더 정보가 풍부한 질의를 가능하게 하여, 정확한 프로그램에 도달하기 위해 필요한 사용자 상호작용 횟수를 줄였다.
• OGIS 형식론에 대한 이론적 매핑은 이론적 타당성을 확보하였으며, 시스템 내 반례 기반 질의가 표준 CEGIS 조건 하에서 수렴이 보장됨을 보장하였다.