[논문 리뷰] PICARD: Parsing Incrementally for Constrained Auto-Regressive Decoding from Language Models

Torsten Scholak, Nathan Schucher외 1명|arXiv (Cornell University)|2021. 09. 10.

Natural Language Processing Techniques인용 수 4

한 줄 요약

PICARD는 대규모 언어 모델에서 제약 조건이 있는 자동 회귀적 디코딩을 위한 새로운 가벼운 방법으로, 생성 중에 잘못된 토큰을 거부하기 위해 점진적 구문 분석을 사용하여 출력의 정확도를 크게 향상시킵니다. 이 방법은 아키텍처 변경 없이도 또는 큰 빔 크기를 사용하지 않아도, 미세 조정된 T5 모델이 Spider 및 CoSQL과 같은 텍스트-SQL 벤치마크에서 최고 성능을 내도록 합니다.

ABSTRACT

Large pre-trained language models for textual data have an unconstrained output space; at each decoding step, they can produce any of 10,000s of sub-word tokens. When fine-tuned to target constrained formal languages like SQL, these models often generate invalid code, rendering it unusable. We propose PICARD (code and trained models available at https://github.com/ElementAI/picard), a method for constraining auto-regressive decoders of language models through incremental parsing. PICARD helps to find valid output sequences by rejecting inadmissible tokens at each decoding step. On the challenging Spider and CoSQL text-to-SQL translation tasks, we show that PICARD transforms fine-tuned T5 models with passable performance into state-of-the-art solutions.

연구 동기 및 목표

• 사전에 훈련된 언어 모델에서 문법적이고 의미적으로 타당한 형식 언어 출력(예: SQL)을 생성하는 데 도전합니다.
• 기존의 제약 조건이 있는 디코딩 방법이 요구하는 맞춤형 어휘, 모델 아키텍처 또는 과도하게 큰 빔 크기의 한계를 극복합니다.
• 재학습이나 미세 조정 없이도 표준 사전에 훈련된 언어 모델 디코더에서 고정확도의 올바른 SQL 생성을 가능하게 합니다.
• 기존의 빔 서치 및 그레디 디코딩 알고리즘과 호환되는 플러그인 솔루션을 제공합니다.

제안 방법

• 각 디코딩 단계에서 부분적인 토큰 시퀀스를 검증하기 위해 단항 조합자를 사용한 점진적 구문 분석을 도입합니다.
• SQL 스키마 및 문법 규칙에 기반해 렉싱, 가드가 없는 구문 분석, 가드가 있는 구문 분석을 포함한 일련의 검증 체크를 적용합니다.
• 각 단계에서 상위-k개의 확률이 높은 토큰으로 디코딩을 제한하고, 잘못된 토큰에 대해 -∞의 점수를 할당하여 효과적으로 걸러냅니다.
• 사용 가능한 네 가지 동작 모드를 지원합니다: 비활성화, 렉싱, 가드가 없는 구문 분석, 가드가 있는 구문 분석으로, 검증 강도가 점차 증가합니다.
• 모델 아키텍처나 어휘를 변경하지 않고도 표준 자동 회귀적 디코딩과 원활하게 통합되며, 토큰 점수를 수정함으로써 작동합니다.
• 스키마 정보(테이블 및 컬럼 이름)를 사용하여 식별자 검증 및 참조 정확도 보장을 위해 구문 분석 중에 참조 정확성을 확보합니다.

실험 결과

연구 질문

• RQ1 사전에 훈련된 언어 모델에서 아키텍처 수정 없이도 점진적 구문 분석을 사용하여 자동 회귀적 디코딩의 정확도를 향상시킬 수 있는가?
• RQ2 각 디코딩 단계에서 구문 제약 조건을 통합하는 것과 빔 가설을 후행적으로 걸러내는 것 간의 성능 및 효율성은 어떻게 비교되는가?
• RQ3 PICARD는 Spider 및 CoSQL과 같은 표준 텍스트-SQL 작업에서 T5 모델의 성능을 어느 정도 향상시키는가?
• RQ4 렉싱, 가드가 있는/없는 구문 분석과 같은 다양한 검증 모드와 빔 크기가 최종 출력 품질에 어떤 영향을 미치는가?
• RQ5 PICARD는 더 작은 T5 모델이 PICARD 없이 큰 모델과 동일한 최고 성능을 달성하도록 할 수 있는가?

주요 결과

• PICARD를 활성화한 T5-Base 모델은 PICARD 없이 사용한 T5-Large 모델보다 Spider 데이터셋에서 더 높은 성능을 기록하여 현저한 효율성 향상을 보였습니다.
• PICARD를 적용한 T5-3B 모델은 Spider에서 개발 세트에서 56.9%의 질문 일치 정확도와 24.2%의 상호작용 일치 정확도를 달성하여 최고 성능을 기록했습니다.
• CoSQL에서는 T5-3B 모델이 테스트 세트에서 54.6%의 질문 일치 정확도와 23.7%의 상호작용 일치 정확도를 기록하여 이전 최고 성능 시스템과 동등하거나 이를 초월했습니다.
• PICARD의 성능 향상은 빔 크기 1에서 2로 이동할 때 가장 두드러지며, 빔 크기가 4를 초월하면 수익 감소 효과가 나타납니다.
• 각 단계에서의 점진적 검증은 최종 검증 전용 방식보다 훨씬 효과적이며, 특히 작은 빔 크기에서 두드러집니다.
• PICARD가 처리하는 상위-k 토큰의 수는 성능에 다소의 영향을 미치며, T5-3B와 같이 더 큰 모델에서는 그 영향이 가장 작습니다.