[논문 리뷰] NeuroLogic Decoding: (Un)supervised Neural Text Generation with Predicate Logic Constraints

Ximing Lu, Peter West외 4명|arXiv (Cornell University)|2020. 10. 24.

Topic Modeling참고 문헌 29인용 수 11

한 줄 요약

NeuroLogic Decoding는 모델 가중치나 훈련을 수정하지 않고도 예측 시점에 복잡한 어휘 제약 조건을 엄격히 충족하면서도 유창한 텍스트를 생성할 수 있도록 해주는 새로운 추론 시점 알고리즘입니다. 이 알고리즘은 네 가지 다양한 텍스트 생성 작업—공감리적 추론, 요리 조리법 생성, 대화 응답 생성, 번역에서의 성별 편향 감소—에서 최신 기술 수준(SOTA) 성능을 달성합니다. 일반적으로 표준 추론 방식을 사용하는 지도 학습 모델보다도 성능이 뛰어나며, 더 작은 비지도 학습 모델을 사용할 때도 마찬가지입니다.

ABSTRACT

Conditional text generation often requires lexical constraints, i.e., which words should or shouldn't be included in the output text. While the dominant recipe for conditional text generation has been large-scale pretrained language models that are finetuned on the task-specific training data, such models do not learn to follow the underlying constraints reliably, even when supervised with large amounts of task-specific examples. We propose NeuroLogic Decoding, a simple yet effective algorithm that enables neural language models -- supervised or not -- to generate fluent text while satisfying complex lexical constraints. Our approach is powerful yet efficient. It handles any set of lexical constraints that is expressible under predicate logic, while its asymptotic runtime is equivalent to conventional beam search. Empirical results on four benchmarks show that NeuroLogic Decoding outperforms previous approaches, including algorithms that handle a subset of our constraints. Moreover, we find that unsupervised models with NeuroLogic Decoding often outperform supervised models with conventional decoding, even when the latter is based on considerably larger networks. Our results suggest the limit of large-scale neural networks for fine-grained controllable generation and the promise of inference-time algorithms.

연구 동기 및 목표

• fine-tuned된 대규모 언어 모델이 텍스트 생성 시 어휘 제약 조건을 신뢰성 있게 충족하지 못하는 문제를 해결하기 위해.
• 추론 시점에 복잡한 논리 제약 조건을 강제할 수 있는 일반적이고 효율적이며 즉시 사용 가능한 추론 방법을 개발하기 위해.
• 특히 제로샷 또는 저자료 설정에서 대규모 미세조정보다 추론 시점 제어가 성능을 뛰어넘을 수 있음을 보여주기 위해.
• 요리 조리법 생성 및 성별 편향 완화와 같은 제약 조건이 있는 생성 작업에서 데이터셋 특화 패턴에 대한 의존도를 줄이고 내재성을 향상시키기 위해.

제안 방법

• 제약 조건을 연결 정규형 (CNF)으로 표현된 술어 논리 공식으로 표현하여 특정 단어나 어구의 포함(양성) 및 배제(음성) 요구 조건을 명시합니다.
• 하드 논리 제약 조건을 비가역적 소프트 펚목 항목으로 변환하여 비드 서치 추론 목표에 통합함으로써 제약 조건 하에서의 효율적 최적화를 가능하게 합니다.
• 해당 알고리즘은 추론 과정 전반에 걸쳐 제약 조건 상태를 유지함으로써 계산 재사용을 가능하게 하고 중복 검사를 방지하며, 비드 서치의 점근적 런타임 복잡도를 유지합니다.
• 논리 연결자(예: AND, OR)를 사용해 양성 및 음성 제약 조건의 임의의 조합을 지원함으로써 동의어 또는 어형 변화 등 복잡한 요구 조건(예: 'beef' 또는 'steak'이 'meat' 요구 조건을 모두 충족)을 구현할 수 있습니다.
• 모델에 종속되지 않으며, 모델 미세조정이나 아키텍처 변경이 필요 없어 지도 학습 및 비지도 사전 학습된 언어 모델 모두에 적용 가능합니다.

실험 결과

연구 질문

• RQ1 비지도 학습 모델을 사용할 때, 특히 더 큰 모델에 비해 성능이 뛰어난 지도 학습 모델보다도 추론 전용 방법이 성능을 뛰어넘을 수 있는가?
• RQ2 NeuroLogic Decoding를 사용하는 비지도 학습 모델이 표준 추론 방식을 사용하는 지도 학습 모델의 성능을 따라잡거나 뛰어넘을 수 있는가?
• RQ3 추론 시점에 논리 제약 조건을 강제하면 데이터셋 특화 패턴에 대한 의존도가 줄어들고 일반화 능력이 향상되는가?
• RQ4 NeuroLogic Decoding를 통해 기계 번역에서 성별 어형을 정확히 반영하도록 강제함으로써 성별 편향을 효과적으로 줄일 수 있는가?

주요 결과

• NeuroLogic Decoding는 평가된 네 가지 벤치마크에서 모두 새로운 SOTA 성능을 기록했으며, 제로샷 설정에서도 지도 학습 베이스라인을 뛰어넘었습니다.
• 요리 조리법 생성 작업에서는 대규모 미세조정된 GPT-2 모델을 사용할 때조차도 표준 비드 서치 대비 제약 조건 충족도가 크게 향상되었습니다.
• 영어-프랑스어 번역에서 성별 편향 감소 작업에서는 기준 성별 마커를 사용할 경우 정확도를 53.0%에서 89.9%로 향상시켰고, 영어-독일어 번역에서는 60.5%에서 95.0%로 상승시켰습니다.
• 프랑스어 번역에서 스테레오 타입과 비스테레오 타입 성별 역할 간 성능 격차 ΔS를 최대 8.9%p 감소시켜 모델 편향이 감소했음을 시사했습니다.
• NeuroLogic Decoding를 적용한 비지도 학습 모델이 표준 추론 방식을 사용하는 더 큰 미세조정 모델보다 성능이 뛰어나, 추론 시점 제어가 미세조정의 스케일 한계를 뛰어넘을 수 있음을 시사했습니다.