[논문 리뷰] Gradient-Based Constrained Sampling from Language Models

Sachin Kumar, Biswajit Paria외 1명|arXiv (Cornell University)|2022. 05. 25.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 다중 가시성 제약 조건을 만족하면서도 유창성과 모델 성능을 유지하는 대체로 비자기적 샘플링 방법인 MuCoLa를 제안한다. 언어 모델의 가능도와 제약 조건을 하나의 에너지 함수로 통합함으로써, 독성 회피, 감성 제어, 키워드 유도 생성 등에서 최신 기술 수준의 성능을 달성한다. 샘플 품질과 다양성 또한 향상된다.

ABSTRACT

Large pretrained language models generate fluent text but are notoriously hard to controllably sample from. In this work, we study constrained sampling from such language models: generating text that satisfies user-defined constraints, while maintaining fluency and the model's performance in a downstream task. We propose MuCoLa -- a sampling procedure that combines the log-likelihood of the language model with arbitrary (differentiable) constraints in a single energy function, and then generates samples in a non-autoregressive manner. Specifically, it initializes the entire output sequence with noise and follows a Markov chain defined by Langevin Dynamics using the gradients of the energy function. We evaluate MuCoLa on text generation with soft and hard constraints as well as their combinations obtaining significant improvements over competitive baselines for toxicity avoidance, sentiment control, and keyword-guided generation.

연구 동기 및 목표

• 대규모 언어 모델로부터 텍스트 생성을 제어하면서도 유창성과 후속 작업 성능을 유지하는 데 도전한다.
• 전체적 맥락과 다수의 경쟁하는 제약 조건을 다루기 어려운 자기적 디코딩 방법의 한계를 극복한다.
• 임의의 미분 가능한 제약 조건을 통합하면서도 기반 언어 모델 분포를 유지하는 샘플링 방법을 개발한다.
• 분류기 등을 통한 부드러운 제약 조건(예: 독성 점수)과 키워드 존재/부재와 같은 딱딱한 제약 조건을 통합된 프레임워크에서 동시에 처리할 수 있도록 한다.
• 언어 모델의 확률 분포를 수정하지 않고도 고품질, 다채롭고 제어 가능한 텍스트 생성을 달성한다.

제안 방법

• 언어 모델의 로그가능도와 다양한 미분 가능한 제약 함수를 조합한 통합 에너지 함수를 수립한다.
• 무작위 노이즈로 초기화된 전체 토큰 임베딩 시퀀스를 반복적으로 업데이트하여 에너지 함수를 최소화하는 데 랭비에인 역학을 사용한다.
• 어휘 공간이 아닌 임베딩 공간에서 기울기 기반 업데이트를 적용함으로써 메모리 및 계산 비용을 감소시킨다.
• 기울기 내에 추가 노이즈를 도입하여 다양성을 확보하면서도 낮은 에너지 해에 수렴하도록 보장한다.
• 제약 조건을 라그랑주 항으로 정의하고 임계값을 설정함으로써 수동 가중치 조정 없이 다중 제약 최적화를 가능하게 한다.
• 언어 모델과 제약 함수에 모두 공통된 임베딩 테이블을 사용하여 엔드 투 엔드 미분 가능성을 실현한다.

실험 결과

연구 질문

• RQ1 비자기적 샘플링 방법이 텍스트 생성에서 서로 충돌할 수 있는 다수의 미분 가능한 제약 조건을 효과적으로 만족시킬 수 있는가?
• RQ2 언어 모델 가능도와 제약 함수를 하나의 에너지 함수에 통합함으로써 모델의 유창성과 작업 성능이 유지되는가?
• RQ3 제약 조건 이행도, 유창성, 다양성 측면에서 제안된 방법이 자기적 기준 대비 어떻게 성능을 냈는가?
• RQ4 이 방법은 부드러운 제약 조건(예: 독성 점수)과 딱딱한 제약 조건(예: 키워드 존재)을 동시에 처리할 수 있는가?
• RQ5 어휘 공간 기반 대안 대비 이 방법의 확장성과 메모리 효율성은 어떠한가?

주요 결과

• MuCoLa는 경쟁 기준 대비 독성 회피 성능에서 뚜렷한 승리를 거두었으며, 낮은 독성 점수를 유지하면서도 높은 유창성과 관련성 확보에 성공했다.
• 감성 제어 작업에서 강력한 성능을 보였으며, 반대 감성 단어의 존재를 요구하는 상황에서도 원하는 감성의 텍스트를 성공적으로 생성했다.
• 키워드 기반 생성 작업에서는 요구된 키워드를 높은 정확도로 포함하면서도 최소한의 비유창성으로 다양한 관련 출력을 생성했다.
• 기계 번역 작업에서는 명시적 개체 보존을 강제하는 딱딱한 제약 조건을 적용함으로써 엔티티 유지도를 향상시켰으며, 표준 디코딩 방법을 능가했다.
• 이 방법은 긴 시퀀스(최대 1000 토큰)까지 확장 가능하며, 어휘 공간 기반 기준 대비 뛰어난 메모리 효율성을 보였고, 50 토큰을 초과하면 실패하는 기존 기준 대비 뛰어난 성능을 보였다.
• 인간 평가 결과, MuCoLa가 자동 생성 기준 대비 더 높은 품질과 더 많은 다양성을 가진 출력을 생성했으며, 제약 조건 이행도는 유사하거나 더 뛰어나다는 것이 확인되었다.