[논문 리뷰] HYSYNTH: Context-Free LLM Approximation for Guiding Program Synthesis

Shraddha Barke, Emmanuel Anaya Gonzalez외 3명|arXiv (Cornell University)|2024. 05. 24.

Parallel Computing and Optimization Techniques인용 수 5

한 줄 요약

HYSYNTH는 LLM 완성을 활용해 문맥 자유 대리모형(PCFG)을 학습하고 이를 바닥-위(bottom-up) 프로그램 합성기를 안내하여 Arc, Tensor, String 작업에서 unguided 검색, LLM-단독 샘플링, 도메인 베이스라인보다 성능이 더 잘 나타난다.

ABSTRACT

Many structured prediction and reasoning tasks can be framed as program synthesis problems, where the goal is to generate a program in a domain-specific language (DSL) that transforms input data into the desired output. Unfortunately, purely neural approaches, such as large language models (LLMs), often fail to produce fully correct programs in unfamiliar DSLs, while purely symbolic methods based on combinatorial search scale poorly to complex problems. Motivated by these limitations, we introduce a hybrid approach, where LLM completions for a given task are used to learn a task-specific, context-free surrogate model, which is then used to guide program synthesis. We evaluate this hybrid approach on three domains, and show that it outperforms both unguided search and direct sampling from LLMs, as well as existing program synthesizers.

연구 동기 및 목표

• 도메인 특화 DSL에서 LLM의 정밀도 한계를 극복하기 위해 하이브리드 프로그램 합성을 제안한다.
• LLM 완성으로부터 학습된 문맥 자유 대리모형으로 하단(bottom-up) 탐색을 안내한다.
• Arc 격자 퍼즐, 텐서 조작, 문자열 조작 전반에 걸쳐 이 접근법을 구현하고 평가한다.
• LLM-가이드 합성이 기준선보다 효율성과 성공률을 향상시킨다는 것을 입증한다.

제안 방법

• 주어진 DSL과 작업에 대해 LLM의 완성을 샘플링하고 후보 프로그램 집합을 수집한다.
• 완성을 프로그램 집합으로 파싱하고 충분성(Smoothing)을 포함한 최대우도 추정으로 PCFG를 학습하여 LLM 분포를 근사한다.
• PCFG를 가중 CFG로 변환하여 비용 증가 순으로 프로그램을 열거하는 하단 탐색을 안내한다.
• 부분식 재사용과 평가 결과를 캐시하는 하단 탐색 알고리즘을 사용하여 관찰적으로 동등한 프로그램을 가지치기한다.
• Arc에서 변환(transforms)과 필터(filters)를 별도로 합성하는 분할-정복 전략을 적용하여 탐색을 가속한다.
• 도메인 솔버 Arga, Probe, TFCoder를 비롯한 베이스라인과 제거 실험(탐색 없음, 비가이드 검색)과의 비교.

(a) Arc

실험 결과

연구 질문

• RQ1 LLM 완성으로부터 학습된 문맥 자유 대리모형이 다중 DSL 도메인에 걸쳐 효과적으로 하단 탐색 기반 프로그램 합성을 안내할 수 있는가?
• RQ2 LLM-가이드 PCFG 가중치가 비가이드 검색 및 순수 LLM 샘플링에 비해 탐색 효율성과 성공률에 어떤 영향을 미치는가?
• RQ3 Arc, Tensor, String 작업에 HYSYNTH를 적용할 때 도메인별 이점과 한계는 무엇인가?

주요 결과

• 하이브리드 접근법은 전체 299개 작업 중 58%를 해결하여 비가이드 검색(40%) 및 검색 없는 LLM(2%)보다 우수하다.
• Arc, Tensor, String에서 HYSYNTH는 각각 도메인 베이스라인인 Arga, TFCoder, Probe를 능가한다.
• LLM 가이드 PCFG는 탐색 공간을 축소시킬 수 있으며(예: 동기 Arc 예제의 경우 450K 프로그램에서 약 220K로), LLM 가이드를 통해 약 분 내에 해를 도출하게 한다.
• Tensor 도메인에서 LLM의 가이드는 탐색 속도를 높일 뿐만 아니라 사용자가 제공하는 비표준 상수의 필요성을 제거한다.
• PCFG를 학습하기 위한 100개의 LLM 샘플을 사용하면 도메인 전반에서 강한 성능을 제공하며, 더 적은 샘플 수도 베이스라인보다 낫다.
• 전반적으로 HYSYNTH는 작업 특화된 문맥 자유 근사가 LLM의 직관을 활용하고도 효율적인 하향식(bottom-up) 탐색을 보존할 수 있음을 보여준다.

(b) Tensor