[논문 리뷰] Grammar-Constrained Decoding for Structured NLP Tasks without Finetuning

Saibo Geng, Martin Josifosky외 2명|arXiv (Cornell University)|2023. 05. 23.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 파인튜닝 없이도 구조화된 출력을 생성하도록 이끄는 데서 형식 문법을 사용하는 문법 제약 디코딩(Grammar-Constrained Decoding, GCD)을 소개한다. LLM과 증분 파서를 통합함으로써 GCD는 문법적으로 타당하고 어휘 규칙을 준수하는 출력을 보장하며, 정보 추출, 엔티티 정규화, 구문 분석 등의 작업에서 파인튜닝된 모델 수준의 성능을 달성한다. 특히 저자료 또는 제로샷 설정에서 뛰어난 성능을 발휘한다.

ABSTRACT

Despite their impressive performance, large language models (LMs) still struggle with reliably generating complex output structures when not finetuned to follow the required output format exactly. To address this issue, grammar-constrained decoding (GCD) can be used to control the generation of LMs, guaranteeing that the output follows a given structure. Most existing GCD methods are, however, limited to specific tasks, such as parsing or code generation. In this work, we demonstrate that formal grammars can describe the output space for a much wider range of tasks and argue that GCD can serve as a unified framework for structured NLP tasks in general. For increased flexibility, we introduce input-dependent grammars, which allow the grammar to depend on the input and thus enable the generation of different output structures for different inputs. We then empirically demonstrate the power and flexibility of GCD-enhanced LMs on (1) information extraction, (2) entity disambiguation, and (3) constituency parsing. Our results indicate that grammar-constrained LMs substantially outperform unconstrained LMs or even beat task-specific finetuned models. Grammar constraints thus hold great promise for harnessing off-the-shelf LMs for a wide range of structured NLP tasks, especially where training data is scarce or finetuning is expensive. Code and data: https://github.com/epfl-dlab/GCD.

연구 동기 및 목표

• 매우 넓은 출력 어휘와 구조적 제약의 부재로 인해 LLM이 신뢰할 수 없거나 잘못된 구조화된 출력을 생성하는 문제를 해결한다.
• 각 새로운 작업마다 레이블이 붙은 데이터가 필요하고 비용이 많이 들기 때문에, 작업별로 특화된 파인튜닝의 한계를 극복한다.
• 형식 문법을 사용하여 구조화된 NLP 작업을 위한 통합적이고 유연한 프레임워크를 개발한다. 이 프레임워크는 입력 맥락에 따라 동적으로 조정될 수 있다.
• 디코딩 과정을 유효한 출력 시퀀스로 제한함으로써, 구조화된 작업에서 소수의 예제나 제로샷 설정에서도 성능을 높일 수 있도록 한다.
• 파인튜닝 없이도 재학습 없이도 기존의 파인튜닝된 모델과 경쟁할 수 있는 성능을 보여주는 것이 가능하다.

제안 방법

• 정보 추출과 같은 구조화된 NLP 작업의 유효한 출력 공간을 기술하기 위해 형식 문법을 정의한다. 예를 들어, 닫힌 정보 추출에서 주어-서술어-목적어 삼항조합을 포함한다.
• 입력 기반의 문법을 도입하여, 입력 맥락에 따라 문법 규칙을 동적으로 조정함으로써, 각 입력에 따라 다른 출력 구조를 허용한다.
• 증분 파서를 완성 엔진으로 통합하여, 각 디코딩 단계에서 현재 문법과 접두어에 따라 유효한 다음 토큰들만 결정한다.
• LLM의 자동회귀적 생성과 문법 인식 완성 엔진을 결합함으로써, 생성된 모든 시퀀스가 구조적으로 타당함을 보장한다.
• 스택 기반 오토마타 또는 파서 기반 접근 방식을 사용하여 실시간으로 디코딩 과정을 효율적으로 검증하고 제약한다.
• 사전에 준비된 LLM을 사용하여 구현함으로써, 작업별로 특화된 파인튜닝이나 복잡한 제약 설계가 필요 없도록 한다.

Figure 1: Grammar-constrained decoding (GCD), applied to the task of closed information extraction, where the goal is to extract a list $y$ of subject–relation–object triplets from the input text $x$ . Subjects and objects are constrained to be Wikidata entities, relations to be a Wikidata relation.

실험 결과

연구 질문

• RQ1 작업별 파인튜닝 없이도 다양한 구조화된 NLP 작업 전반에 걸쳐 형식 문법을 사용하여 유효한 출력 공간을 정의할 수 있는가?
• RQ2 문법 제약 디코딩은 비구조화된 생성 방식에 비해 소수의 예제 설정에서 LLM의 구조화된 작업 성능을 얼마나 향상시키는가?
• RQ3 입력 기반의 문법을 사용할 경우, 출력 구조가 변동적 또는 입력에 민감한 작업에 GCD의 적용 범위가 얼마나 확장되는가?
• RQ4 저자료 환경에서 GCD는 파인튜닝된 모델과 비슷하거나 더 높은 성능을 달성할 수 있는가?
• RQ5 복잡한 문법을 대규모 LLM 디코딩에 적용할 경우, 지연 시간과 확장성 사이의 실질적 트레이드오프는 어떠한가?

주요 결과

• 문법 제약 디코딩은 정보 추출, 엔티티 정규화, 구성 구문 분석 등 다양한 작업에서 LLM의 구조화된 출력 생성 신뢰성과 정확도를 크게 향상시킨다.
• GCD를 적용한 LLM은 평가된 모든 작업에서 비구조화된 LLM보다 뛰어난 성능을 보이며, 일부 소수의 예제 설정에서는 파인튜닝된 모델을 초월하기도 한다.
• 입력 기반의 문법 사용 덕분에, 출력이 입력 맥락에 따라 달라지는 작업(예: 엔티티 정규화, 엔티티 연결)을 처리할 수 있다.
• 성능 향상은 특히 저자료 또는 제로샷 환경에서 가장 두드러지며, 이 경우 넓은 출력 어휘로 인해 소수의 예제 프롬프팅이 효과를 발휘하기 어려운 경우가 많다.
• GCD는 파싱 오버헤드로 인해 디코딩 지연이 증가하지만, 파인튜닝이 불가능한 경우에선 성능 향상의 비용으로서 타당한 선택이다.
• 이 방법은 더 큰 LLM에서 가장 효과적이며, 문법이 가능한 한 엄격할수록 성능 향상이 두드러진다. 이는 프레임워크 성공에 있어 문법 설계의 중요성을 강조한다.

Figure 2: Formal grammars for 14 structured NLP tasks, highlighting the general applicability of grammar-constrained decoding. All 14 grammars are context-free (mostly regular). * marks input-dependent grammars. Inputs $x=\langle x_{0},\dots,x_{n-1}\rangle$ are sequences of lexical units (e.g., word