[논문 리뷰] Program Synthesis with Pragmatic Communication

Yewen Pu, Kevin Ellis외 3명|arXiv (Cornell University)|2020. 07. 09.

Software Engineering Research참고 문헌 29인용 수 5

한 줄 요약

이 논문은 사용자가 제공한 사양의 모호함을 해결하기 위해 합리적 의사소통 원리를 활용하는 실용적인 프로그램 합성기 프레임워크를 제안한다. 합성 작업을 합리적 의사소통 과정으로 모델링하고, 귀납적 추론을 통해 사용자가 의도한 프로그램을 추론한다. 사양을 실용적 언어 행위로 간주함으로써, 이 시스템은 사용자 연구에서 직업적 사양 기반 또는 수작업으로 설정된 사전 기반 접근 방식보다 뛰어난 성능을 보였다. 종료 사용자들은 실용적 모델과 상호작용할 때 더 효율적으로 소통하였으며, 이는 원칙적인 의사소통 모델이 학습 데이터가 필요 없이 인간-기계 상호작용의 질을 향상시킬 수 있음을 보여준다.

ABSTRACT

Program synthesis techniques construct or infer programs from user-provided specifications, such as input-output examples. Yet most specifications, especially those given by end-users, leave the synthesis problem radically ill-posed, because many programs may simultaneously satisfy the specification. Prior work resolves this ambiguity by using various inductive biases, such as a preference for simpler programs. This work introduces a new inductive bias derived by modeling the program synthesis task as rational communication, drawing insights from recursive reasoning models of pragmatics. Given a specification, we score a candidate program both on its consistency with the specification, and also whether a rational speaker would chose this particular specification to communicate that program. We develop efficient algorithms for such an approach when learning from input-output examples, and build a pragmatic program synthesizer over a simple grid-like layout domain. A user study finds that end-user participants communicate more effectively with the pragmatic program synthesizer over a non-pragmatic one.

연구 동기 및 목표

• 동일한 사양을 만족하는 여러 프로그램이 존재하는 프로그램 합성의 모호함을 해결하기 위해.
• 계산어휘학에서 영감을 얻은 실용성 원리에 기반한 합리적 의사소통 과정으로 프로그램 합성을 모델링하기 위해.
• 수작업으로 설정된 사전 또는 데이터 기반 학습이 아닌, 발화자 합리성에서 유도된 인도적 편향을 개발하기 위해.
• 실용적 추론이 종료 사용자와 프로그램 합성기 간의 소통 효율성을 향상시키는지 평가하기 위해.
• 버전 공간 대수를 활용해 통제된 도메인에서 실용적 프로그램 합성에 대해 확장 가능한 추론 메커니즘을 구축하기 위해.

제안 방법

• 직역 청취자(L₀), 실용적 발화자(S₁), 실용적 청취자(L₁) 모델을 사용하여 프로그램 합성을 귀납적 실용적 의사소통 게임으로 수식화한다.
• 발화자 모델 S₁(D|prog) ∝ Pₗ₀(prog|D)를 사용하여 주어진 프로그램을 가장 잘 전달할 수 있는 사양을 생성한다.
• 실용적 청취자 L₁(prog|D) ∝ Pₛ₁(D|prog)를 유도하여 합리성을 프로그램 선택에 통합한 합성 모델로 활용한다.
• 유한하고 작은 프로그램 및 사양 공간에서 확률을 효율적으로 계산하기 위해 버전 공간 대수를 활용한다.
• 샘플링이나 근사 계산 없이 정확한 사후 확률을 계산하기 위해 점진적 추론 알고리즘을 구현한다.
• 메트릭스 기반 레이아웃 도메인을 대상으로 아마존 메카니컬 터크에서 사용자 연구를 수행하여 모델을 검증한다.

실험 결과

연구 질문

• RQ1 실용적 의사소통을 모델링하는 프로그램 합성기가 직역 또는 사전 기반 합성기보다 사용자 소통 효율성에서 뛰어나게 되는가?
• RQ2 실용적 청취자와 직역 청취자 중 어떤 경우에 종료 사용자가 사양 전략을 어떻게 조정하는가?
• RQ3 합리적 의사소통에 기반한 원칙적인, 데이터 기반 외의 인도적 편향이 합성 결과에 얼마나 큰 영향을 미치는가?
• RQ4 실용적 청취자 모델이 인간의 청취자 합리성에 대한 직관적 가정과 일치하는가?
• RQ5 버전 공간 대수가 통제된 도메인에서 실용적 프로그램 합성에 대해 효율적인 정확한 추론을 가능하게 하는가?

주요 결과

• 사용자 참여자들은 실용적 청취자(L₁)와 소통할 때 직역 청취자(L₀)와 비교해 평균 8.4개의 기호를 더 적게 사용했으며, 유의미한 차이(p < .0001)를 보였다.
• 실용적 청취자(L₁)는 인간 청취자와 유사한 소통 효율성을 달성했으며, 기호 사용에 있어 유의미한 차이가 없었다(p = .3).
• 실용적 합성기(S₁-L₁)는 성공적인 소통을 달성하기 위해 평균 3.34개의 발화를 필요로 하였고, 수작업 사전을 사용한 S₁-Lₚ 쌍(평균 3.8개 발화)보다 뛰어난 성능을 보였다.
• 사용자들은 실용적 시스템과 소통할 때 패턴 크기와 구조를 더 잘 추론한다는 점을 고려해, 더 적은 돌멩이를 사용하는 사양 전략을 조정하였다.
• 실용적 모델 S₁-L₁는 효율성 면에서 인간-인간 소통과 구분되지 않았으며, 인간의 실용적 기대와 잘 일치함을 보였다.
• 시스템은 실용성에서 유도된 원칙적인, 첫 번째 원칙에 기반한 인도적 편향이 실제 사용자 상호작용 데이터 없이도 수작업 사전보다 뛰어난 성능을 낼 수 있음을 입증했다.