[논문 리뷰] AutoTemplate: A Simple Recipe for Lexically Constrained Text Generation

Hayate Iso|arXiv (Cornell University)|2022. 11. 15.

Topic Modeling인용 수 5

한 줄 요약

AutoTemplate는 어휘 제약 텍스트 생성을 위한 간단한 이단계 프레임워크로, 템플릿 생성과 어휘화를 분리한다. 제약 어휘 사전을 위한 자리표시자(플레이스홀더)를 포함한 마스킹된 템플릿을 예측하도록 표준 자동회귀 모델을 훈련하고, 추론 시에는 자리표시자를 실제 제약어로 대체함으로써, 키워드-문장 생성 및 엔티티 유도 요약 작업 전반에서 하드 제약 충족을 보장하면서도 경쟁 기준 모델들보다 뛰어난 성능을 달성한다.

ABSTRACT

Lexically constrained text generation is one of the constrained text generation tasks, which aims to generate text that covers all the given constraint lexicons. While the existing approaches tackle this problem using a lexically constrained beam search algorithm or dedicated model using non-autoregressive decoding, there is a trade-off between the generated text quality and the hard constraint satisfaction. We introduce AutoTemplate, a simple yet effective lexically constrained text generation framework divided into template generation and lexicalization tasks. The template generation is to generate the text with the placeholders, and lexicalization replaces them into the constraint lexicons to perform lexically constrained text generation. We conducted the experiments on two tasks: keywords-to-sentence generations and entity-guided summarization. Experimental results show that the AutoTemplate outperforms the competitive baselines on both tasks while satisfying the hard lexical constraints. The code is available at https://github.com/megagonlabs/autotemplate

연구 동기 및 목표

• 필수 제약 어휘 사전을 엄격히 포함하면서도 높은 유창성과 일관성을 유지하는 텍스트 생성의 과제를 해결하기 위해.
• 기존 어휘 제약 텍스트 생성 방법에서 제약 충족과 품질 간의 상충 관계를 극복하기 위해.
• 표준 순서-순서 모델을 사용하여 템플릿 생성과 어휘화를 분리하는 간단하고 모듈화된 프레임워크를 제안하기 위해.
• 템플릿 기반 후처리 전략과 결합된 표준 자동회귀 모델이 제약 텍스트 생성에서 뛰어난 성능을 낼 수 있음을 보여주기 위해.
• 키워드-문장 생성 및 엔티티 유도 요약을 포함한 다양한 작업에서 프레임워크의 유효성을 검증하기 위해.

제안 방법

• 입력은 제약 어휘 사전과 특수 마스킹 토큰(예: <X>, <Y>)을 연결하여 마스킹된 입력 표현으로 구성된다.
• 출력은 제약 어휘 사전이 고유한 자리표시자 토큰으로 대체된 마스킹된 템플릿으로, 모델이 일반적인 구조를 학습할 수 있도록 한다.
• 표준 자동회귀 인코더-디코더 모델은 제약어 자리표시자가 포함된 입력을 기반으로 마스킹된 템플릿을 예측하도록 훈련된다.
• 추론 시, 모델은 자리표시자가 포함된 템플릿을 생성하고, 이를 후처리 단계에서 실제 제약어로 대체한다.
• 각 제약어마다 고유한 자리표시자 토큰을 사용하여 모호성 제거 및 생성 품질 향상을 도모한다.
• 프레임워크는 사전 훈련된 모델과 빔 서치를 활용하여 추론을 수행함으로써, 제약 충족성과 함께 고품질의 출력을 보장한다.

실험 결과

연구 질문

• RQ1 템플릿 생성과 어휘화를 조합한 단순한 이단계 프레임워크가 품질과 제약 준수 측면에서 기존의 제약 텍스트 생성 방법을 능가할 수 있는가?
• RQ2 입력과 출력을 마스킹한 표준 자동회귀 모델이 비자기회귀 또는 제약이 있는 빔 서치 접근법보다 더 뛰어난 유창성을 달성하는가?
• RQ3 사전 훈련이 제약 텍스트 생성 작업에서 AutoTemplate 프레임워크의 성능에 얼마나 중요한가?
• RQ4 템플릿 생성 과정에서 고유한 자리표시자 토큰을 사용하는 것과 공유된 자리표시자 토큰을 사용하는 것의 영향은 어떠한가?
• RQ5 AutoTemplate는 키워드-문장 생성 및 엔티티 유도 요약과 같은 다양한 작업에 효과적으로 일반화될 수 있는가?

주요 결과

• AutoTemplate는 키워드-문장 생성 및 엔티티 유도 요약 작업 전반에서 자동회귀 및 비자기회귀 모델을 포함한 경쟁 기준 모델들을 능가한다.
• 비자기회귀 CBART 기준 모델보다 높은 유창성 점수를 확보하여, 자동회귀 모델이 텍스트 생성에 유리함을 입증한다.
• 요약 작업에서 BART 및 CTRLSum과 같은 최첨단 자동회귀 모델과 유사한 수준의 텍스트 유창성을 달성한다.
• 절단 실험 결과, 사전 훈련이 생성 품질에 크게 기여하며, 무작위 초기화 시에는 상당히 열 劣한 결과를 보임을 확인한다.
• 각 제약어마다 고유한 자리표시자 토큰을 사용할 경우 공유된 자리표시자 토큰을 사용할 경우보다 유의미하게 높은 성능을 기록함으로써, 모호성 제거의 중요성을 입증한다.
• 복잡한 입력(10개 이상의 엔티티 포함)에서도 모든 하드 어휘 제약을 평가된 모든 케이스에서 성공적으로 충족시켰다.