[논문 리뷰] Encoder-Agnostic Adaptation for Conditional Language Generation

Zachary M. Ziegler, Luke Melas-Kyriazi외 2명|arXiv (Cornell University)|2019. 08. 19.

Topic Modeling참고 문헌 31인용 수 23

한 줄 요약

이 논문은 사전에 훈련된 언어 모델을 조건부 텍스트 생성에 적응시키기 위해 작업별 특화된 인코더가 필요하지 않은 방법인 가짜 자기주의(가짜 self-attention)를 제안한다. 작업별 특화된 조건부 정보를 직접 자기주의 메커니즘에 통합함으로써, 요약, 스토리 생성, 이미지 캡션 생성과 같은 다양한 생성 작업에서 더 뛰어난 일관성, 높은 데이터 효율성 및 성능을 달성한다. 이는 제한된 피니테이닝 데이터로도 강력한 베이스라인과 사전 훈련되지 않은 모델을 능가한다.

ABSTRACT

Large pretrained language models have changed the way researchers approach discriminative natural language understanding tasks, leading to the dominance of approaches that adapt a pretrained model for arbitrary downstream tasks. However it is an open-question how to use similar techniques for language generation. Early results in the encoder-agnostic setting have been mostly negative. In this work we explore methods for adapting a pretrained language model to arbitrary conditional input. We observe that pretrained transformer models are sensitive to large parameter changes during tuning. We therefore propose an adaptation that directly injects arbitrary conditioning into self attention, an approach we call pseudo self attention. Through experiments on four diverse conditional text generation tasks we show that this encoder-agnostic technique outperforms strong baselines, produces coherent generations, and is data efficient.

연구 동기 및 목표

• 사전에 훈련된 언어 모델을 조건부 텍스트 생성에 적응시키기 위해 작업별 특화된 인코더가 필요하지 않은 문제를 해결하기 위해.
• 생성 작업에서 인코더에 종속되지 않은 설정에서 표준 피니테이닝 방법이 실패하는 이유를 조사하기 위해.
• 다양한 입력 모odalities에 대해 효과적인 조건부 정보를 제공하면서도 사전 훈련된 모델의 생성 품질을 유지하는 방법을 개발하기 위해.
• 장기적 조건부 생성에서 데이터 효율성과 질적 일관성 향상을 입증하기 위해.
• 자연어 이해(NLU)에서의 소스 표현 개선과 자연어 생성(NLG)에서의 생성 능력 향상 사이의 근본적인 차이를 부각하기 위해.

제안 방법

• 사전에 훈련된 디코더의 자기주의 메커니즘에 작업별 특화된 조건부 정보를 통합하는 가짜 자기주의를 제안한다.
• 작업별 특화된 인코더를 사용하여 조건부 벡터를 생성하고, 이를 자기주의 레이어의 학습 가능한 쿼리/키/밸류로 통합한다.
• 가짜 토큰 시퀀스로 간주함으로써 원래의 트랜스포머 아키텍처를 유지하고, 주의 메커니즘의 동역학을 그대로 보존한다.
• 전체 모델을 엔드 투 엔드로 피니테이닝하여, 사전 훈련된 디코더가 새로운 입력에 적응하면서도 언어 모델링 능력을 유지할 수 있도록 한다.
• 표준 트랜스포머 디코더(GPT-2 등)를 기본 모델로 사용하고, 다양한 입력 모달리티(텍스트, 이미지, 클래스 레이블 등)에 대해 이 방법을 적용한다.
• 피니테이닝 중에 작업별 특화된 인코더를 디코더와 함께 공동으로 훈련함으로써, 모델이 임의의 입력에 대해 효과적으로 조건부 정보를 통합하는 법을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 왜 표준 피니테이닝 방법은 조건부 생성 작업에서 인코더에 종속되지 않은 설정에서 실패하는가?
• RQ2 사전 훈련된 모델의 생성 품질을 유지하면서도 임의의 입력 모달리티에 대해 효과적인 조건부 정보를 제공할 수 있는 방법을 설계할 수 있는가?
• RQ3 자기주의에 직접 조건부 정보를 통합하는 것이 기존의 베이스라인 적응 기법에 비해 더 나은 일관성과 데이터 효율성을 제공하는가?
• RQ4 가짜 자기주의는 융합 기반 또는 사전 훈련 기반의 베이스라인과 비교해 성능과 질적 출력 품질 측면에서 어떻게 다른가?
• RQ5 입력 컨텍스트를 얼마나 잘 따르면서도 생성 품질을 향상시키는가?

주요 결과

• 가짜 자기주의는 요약, 스토리 생성, 이미지 캡션 생성, 영화 리뷰 생성 등 네 가지 다양한 조건부 생성 작업에서 강력한 베이스라인(융합 기반 방법 및 사전 훈련되지 않은 모델 포함)을 모두 능가한다.
• 이 방법은 제한된 훈련 데이터로도 뚜렷한 성능 향상을 이끌어내어 매우 높은 데이터 효율성을 보여준다.
• 영화 리뷰 생성 작업에서, 가짜 자기주의 모델은 단 1,800개의 훈련 예제만으로도 일관되고 문법적으로 올바른 생성 결과를 도출했지만, 사전 훈련되지 않은 베이스라인은 일관성을 유지하지 못했다.
• 질적 샘플 분석 결과, 가짜 자기주의는 베이스라인에 비해 더 일관되고 서사 중심의 출력을 생성하는 것으로 나타났다. 반면 베이스라인은 종종 일관성 없거나 반복적인 텍스트를 생성했다.
• 비록 입력 모달리티가 비텍스트(예: 이미지 또는 클래스 레이블)일지라도, 이 방법은 입력 컨텍스트를 강력하게 따르면서도 생성 품질을 크게 향상시킨다.
• 결과는 자연어 이해(NLU)에서의 소스 표현 개선과 자연어 생성(NLG)에서의 생성 능력 향상 사이에 근본적인 차이가 있음을 시사하며, 후자의 경우 가짜 자기주의와 같은 아키텍처 혁신이 필요하다.