[논문 리뷰] Controllable Text Generation with Neurally-Decomposed Oracle

Tao Meng, Sidi Lu외 2명|arXiv (Cornell University)|2022. 05. 27.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 신경 보조 모델을 통해 문장 수준의 오라클 함수를 토큰 수준의 가이던스로 분해하는 일반적이고 효율적인 프레임워크인 NADO(Neurally-Decomposed Oracle)를 제안한다. 사전 훈련된 기본 모델에서 샘플링한 데이터로 훈련된 NADO는 피지컬 훈련 없이도 정밀하고 고품질의 제어를 가능하게 하며, 어휘 제약 및 어조 제어 작업에서 최신 기술 수준의 성능을 달성하며 BLEU 점수 향상이著명하다.

ABSTRACT

We propose a general and efficient framework to control auto-regressive generation models with NeurAlly-Decomposed Oracle (NADO). Given a pre-trained base language model and a sequence-level boolean oracle function, we propose to decompose the oracle function into token-level guidance to steer the base model in text generation. Specifically, the token-level guidance is approximated by a neural model trained with examples sampled from the base model, demanding no additional auxiliary labeled data. Based on posterior regularization, we present the closed-form optimal solution to incorporate the token-level guidance into the base model for controllable generation. We further provide a theoretical analysis of how the approximation quality of NADO affects the controllable generation results. Experiments conducted on two applications: (1) text generation with lexical constraints and (2) machine translation with formality control demonstrate that our framework efficiently guides the base model towards the given oracle while maintaining high generation quality.

연구 동기 및 목표

• 키워드나 글쓰기 스타일과 같은 문장 수준의 속성을 가진 자동회귀 언어 모델을 제어하는 데 도전하는 것.
• 모델 재구성 또는 피지컬 훈련 없이도 시퀀스 수준의 오라클을 사용해 생성을 가이던스하는 일반적 프레임워크를 개발하는 것.
• 보조 가이던스 모델을 기본 모델의 분포와 일치시켜 생성 품질과 제어 정확도를 향상시키는 것.
• 사후 정규화를 통한 오라클 신호 통합을 이론적으로 기반한 방법을 제공하는 것.
• 기계 번역에서 어휘 제약 및 어조 제어를 포함한 다양한 제어 작업에 대해 효과성을 입증하는 것.

제안 방법

• 후행 정규화를 사용하여 시퀀스 수준의 부울 오라클을 토큰 수준의 가이던스로 분해하고, 닫힌 형태의 최적 해를 유도한다.
• 기본 모델에서 샘플링한 데이터로 훈련된 신경 보조 모델인 NADO를 사용하여 토큰 수준의 가이던스를 근사화하며, 외부 레이블 데이터가 필요하지 않다.
• 각 생성 단계에서 NADO의 가이던스를 사용해 기본 모델의 출력 분포를 재가중하여 제어 목표를 충족시킨다.
• 기본 모델의 출력과 오라클 감독만을 사용하여 주어진 접두어와 후보 토큰이 시퀀스 수준의 오라클를 만족하는지 예측하도록 NADO를 훈련시킨다.
• 기본 모델의 분포에서 샘플링하여 NADO를 훈련시음으로써 분포 불일치를 방지하고, 더 나은 일치와 정확한 제어를 확보한다.
• 탐색적 디코딩과 온도 기반 샘플링을 활용하여 NADO의 훈련 데이터 다양성을 높인다.

실험 결과

연구 질문

• RQ1 신경 보조 모델이 제어 가능한 텍스트 생성을 위해 시퀀스 수준의 오라클 함수를 효과적으로 근사화할 수 있는가?
• RQ2 NADO의 근사 품질이 최종 생성 결과와 제어 정밀도에 어떤 영향을 미치는가?
• RQ3 기존의 후행 분포 이질성 또는 외부 레이블 데이터가 필요한 방법보다 NADO가 더 나은 제어와 생성 품질을 달성할 수 있는가?
• RQ4 기본 모델의 분포에서 샘플링한 데이터로 NADO를 훈련시키는 것이 외부 분포 훈련보다 분포 불일치를 줄이고 일치도를 높이는가?
• RQ5 모델 피지컬 훈련 없이도 어휘 제약 및 스타일 제어와 같은 다양한 제어 작업에 일반화 가능한가?

주요 결과

• 어휘 제약이 있는 생성에서 NADO는 키워드 통합을 거의 완벽하게 달성했으며, 이전 방법보다 BLEU 점수 3점 향상.
• 형식성 제어가 필요한 기계 번역에서 NADO는 FUDGE보다 BLEU 점수 3점 향상했으며, 형식성 점수 유지 또는 약간 향상.
• 비슷한 훈련 데이터 크기와 오라클 유형을 사용했음에도 불구하고 FUDGE보다 NADO가 더 나은 성능을 보여, 더 나은 일치도와 가이던스 품질을 입증.
• NADO 훈련 시 온도 기반 샘플링을 사용함으로써 생성 다양성과 품질 향상이 가능했으며, 최적 성능은 T=5/4에서 달성.
• 이론적 분석을 통해 NADO의 근사 품질이 높을수록 기본 모델 출력의 정확하고 효과적인 제어가 가능함을 확인.
• 프레임워크는 강건하고 일반화 가능하며, 기본 모델과 오라클을 블랙박스로 간주하므로 아키텍처 변경 없이 다양한 제어 작업에 적용 가능하다.