[논문 리뷰] Control Prefixes for Text Generation.

Jordan Clive, Kris Cao외 1명|arXiv (Cornell University)|2021. 10. 15.

Topic Modeling참고 문헌 51인용 수 17

한 줄 요약

이 논문은 사전 훈련된 트랜스포머의 다양한 레이어에 학습 가능한, 속성 기반의 표현을 통합하여 텍스트 생성에서 조건부이고 세밀한 제어를 가능하게 하는 동적 프롬프트 학습 방법인 Control Prefixes를 소개한다. 이는 WebNLG를 포함한 여러 GEM 벤치마크 데이터셋에서 최신 기술 성능을 달성하며, 정적이고 데이터셋 수준의 프롬프트를 초월하여 입력 기반의 프롬프트 적응을 가능하게 한다.

ABSTRACT

Prompt learning methods adapt pre-trained language models to downstream applications by using a task-specific prompt together with the input. Most of the current work on prompt learning in text generation relies on a shared dataset-level prompt for all examples in the dataset. We extend this approach and propose a dynamic method, Control Prefixes, which allows for the inclusion of conditional input-dependent information in each prompt. Control Prefixes is at the intersection of prompt learning and controlled generation, empowering the model to have finer-grained control during text generation. The method incorporates attribute-level learnable representations into different layers of a pre-trained transformer, allowing for the generated text to be guided in a particular direction. We provide a systematic evaluation of the technique and apply it to five datasets from the GEM benchmark for natural language generation (NLG). We present state-of-the-art results on several data-to-text datasets, including WebNLG.

연구 동기 및 목표

• 텍스트 생성에서 정적이고 데이터셋 수준의 프롬프트의 한계를 해결하기 위해 입력 기반의 조건부 제어를 가능하게 하기 위해.
• 사전 훈련된 트랜스포머의 여러 레이어에 속성 수준의 학습 가능한 표현을 통합하여 더 세밀한 생성 제어를 가능하게 하기 위해.
• 입력 속성에 기반한 프롬프트의 동적 적응을 허용함으로써 프롬프트 학습과 제어 가능한 생성을 연결하기 위해.
• GEM 벤치마크의 다양한 자연어 생성 작업에서 이 방법의 효과성을 평가하기 위해.
• WebNLG와 같은 데이터 기반 텍스트 생성 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• Control Prefixes는 입력 속성에 따라 조건화되는 학습 가능한, 작업별 전용 프리픽스 토큰을 도입하며, 이는 사전 훈련된 트랜스포머의 여러 레이어에 삽입된다.
• 이 방법은 이러한 프리픽스 토큰을 주입하여 어텐션 및 피드포워드 레이어를 동적으로 수정하며, 이는 메인 모델과 함께 엔드 투 엔드로 훈련된다.
• 속성 수준의 표현을 사용하여 생성 과정을 이끌어내어 출력 텍스트의 특정 속성에 대한 제어를 가능하게 한다.
• 프리픽스 임베딩은 레이어 간에 공유되지만, 입력 기반의 조건화 신호에 의해 조절되어 맥락 인식 프롬프트를 생성한다.
• 기본 모델의 아키텍처에 어떠한 변경도 가하지 않고, 표준 언어 모델링 목표를 사용하여 엔드 투 엔드로 훈련된다.
• 추론 중 입력 조건화를 조정함으로써 제로샷 및 희소샷 적응을 모두 지원한다.

실험 결과

연구 질문

• RQ1 정적이고 데이터셋 수준의 프롬프트에 비해 입력 기반의 동적 프롬프트가 텍스트 생성 품질을 향상시키는가?
• RQ2 학습 가능한 프리픽스 토큰이 생성된 텍스트의 특정 속성에 대해 얼마나 세밀한 제어를 가능하게 하는가?
• RQ3 Control Prefixes는 GEM 벤치마크의 다양한 데이터 기반 텍스트 생성 작업에서 어떻게 성능을 발휘하는가?
• RQ4 WebNLG와 같은 기존 벤치마크에서 최신 기술 성능을 달성하는가?
• RQ5 최소한의 아키텍처 수정으로 다양한 NLG 작업 간에 효과적으로 일반화되는가?

주요 결과

• Control Prefixes는 WebNLG를 포함한 GEM 벤치마크의 여러 데이터 기반 텍스트 생성 데이터셋에서 최신 기술 성능을 달성한다.
• 입력 기반의 프롬프트 적응을 가능하게 하여 생성 품질을 크게 향상시키며, 정적 프롬프트 기반 베이스라인보다 뛰어난 성능을 보인다.
• 여러 트랜스포머 레이어에 속성 수준의 표현을 통합함으로써 더 일관되고 제어 가능한 텍스트 생성이 가능해진다.
• 특수 작업용 아키텍처 변경 없이도 다양한 NLG 작업에 잘 일반화된다.
• 저자원 환경에서도 강력한 성능을 유지하여 희소샷 및 제로샷 시나리오에서의 강인함을 입증한다.
• 실험 결과는 동적 프리픽스 메커니즘이 기존 프롬프트 학습에 비해 더 세밀한 제어를 가능하게 한다는 것을 확인한다.