[논문 리뷰] AdaVAE: Exploring Adaptive GPT-2s in Variational Auto-Encoders for Language Modeling

Haoqin Tu, Zhongliang Yang외 2명|arXiv (Cornell University)|2022. 05. 12.

Topic Modeling인용 수 4

한 줄 요약

AdaVAE는 임베딩 어댑터를 사용하여 GPT-2를 인코더이자 디코더로 통합하는 파rameter 효율적인 VAE 프레임워크를 제안한다. 이는 임베딩 주의 메커니즘을 통해 효과적인 잠재 공간 학습을 가능하게 하며, 훈련 시 총 파라미터의 14.66%만 활성화함으로써 언어 모델링에서 최고 성능을 달성하고, 생성 및 분류 작업에서도 경쟁력 있는 성능을 보인다.

ABSTRACT

Variational Auto-Encoder (VAE) has become the de-facto learning paradigm in achieving representation learning and generation for natural language at the same time. Nevertheless, existing VAE-based language models either employ elementary RNNs, which is not powerful to handle complex works in the multi-task situation, or fine-tunes two pre-trained language models (PLMs) for any downstream task, which is a huge drain on resources. In this paper, we propose the first VAE framework empowered with adaptive GPT-2s (AdaVAE). Different from existing systems, we unify both the encoder\&decoder of the VAE model using GPT-2s with adaptive parameter-efficient components, and further introduce Latent Attention operation to better construct latent space from transformer models. Experiments from multiple dimensions validate that AdaVAE is competent to effectively organize language in three related tasks (language modeling, representation modeling and guided text generation) even with less than $15\%$ activated parameters in training. Our code is available at \url{https://github.com/ImKeTT/AdaVAE}.

연구 동기 및 목표

• 기존 대규모 VAE에서 전체 사전 학습된 언어 모델(PLM)을 미세조정할 때 발생하는 높은 계산 비용과 비효율적인 파라미터 사용 문제를 해결하기 위해.
• PLM 표현과 호환 가능한 방법을 설계하여 트랜스포머 기반 VAE의 잠재 공간 구성 방식을 향상시키고, RNN 기반 잠재 융합 기법의 한계를 극복하기 위해.
• 모델 일관성과 효율성을 확보하기 위해 동일한 GPT-2 아키텍처를 사용하여 인코더와 디코더 컴포넌트를 통합하기 위해.
• 최소한의 학습 가능한 파라미터로 저자원 및 다중 작업 환경에서 효과적인 표현 학습과 생성을 가능하게 하기 위해.

제안 방법

• GPT-2의 피드포워드 레이어와 어텐션 블록 출력 사이에 적응형 어댑터 모듈을 삽입하여, 파라미터 효율적인 미세조정을 가능하게 한다.
• 인코더 표현을 어텐션 계산에 직접 통합하여 의미 있는 잠재 코드를 보다 효과적으로 구성하는 메커니즘인 임베딩 주의(잠재 주의)를 제안한다.
• 일致성을 위해 동일한 워드 임베딩 공간을 공유하는 두 개의 파라미터 효율적 GPT-2 모델을 사용하여 통합된 인코더와 디코더를 구현한다.
• 잠재 지식 융합 전략 두 가지를 탐색: 디코더를 잠재 벡터로 조건화하고, 생성 중에 은닉 상태에 잠재 벡터를 주입하는 방식.
• 재구성 기반 추론 목표를 사용하여 증명 가능한 하한(ELBO)을 최적화하고, 엔드 투 엔드 훈련을 가능하게 한다.
• 모든 원본 GPT-2 파라미터를 동결하면서 어댑터 기반 미세조정을 적용하여, 학습 가능한 파라미터를 총 파라미터의 14.66%로 극도로 감소시킨다.

실험 결과

연구 질문

• RQ1 통합된, 파라미터 효율적인 GPT-2 아키텍처가 성능 저하 없이 VAE에서 인코더이자 디코더로 기능할 수 있는가?
• RQ2 표준 잠재 벡터 주입 방식과 비교해 볼 때, 임베딩 주의는 의미 있고 분리된 잠재 공간을 얼마나 효과적으로 구성하는가?
• RQ3 파라미터 효율적인 PLM를 사용할 경우, VAE에서 인코더와 디코더의 깊이 간 최적의 균형은 무엇인가?
• RQ4 AdaVAE는 기존의 '빅 VAE' 모델보다 훨씬 적은 학습 가능한 파라미터를 사용하면서도 언어 모델링에서 최고 성능을 달성할 수 있는가?
• RQ5 AdaVAE는 저자원 분류 및 제어 가능한 텍스트 생성을 포함한 다양한 NLP 작업으로의 일반화 능력이 얼마나 우수한가?

주요 결과

• WikiText-2 데이터셋에서 AdaVAE는 테스트 퍼플렉서티(PPL) 15.49를 기록하여 기존 최고 성능 모델보다 뛰어난 성능을 보였고, 학습 가능한 파라미터 수가 훨씬 적었다.
• 총 파라미터의 14.66%만 활성화된 상태에서 -ELBO 값이 125.56에 도달하여 강력한 최적화 효율성과 표현 학습 능력을 입증했다.
• 잠재 공간 보간 및 유추 작업 결과, 생성된 문장 간에 부드러운 의미적 및 문법적 전이가 이루어져 의미 있고 분리된 잠재 표현을 확인했다.
• 절단 실험 결과, 8개의 인코더 레이어와 12개의 디코더 레이어 조합이 최고 성능을 보였으며, 8개 이상의 인코더 레이어에서는 수익 감소 현상이 나타났다.
• 저자원 텍스트 분류 및 제어 가능한 생성 작업에서도 뛰어난 성능 유지를 보여, 다양한 NLP 작업에 대한 강건성을 확인했다.
• 어댑터의 사용으로 인해 최소한의 계산 오버헤드로 효과적인 미세조정이 가능해져, 다중 작업 훈련이 가능하고 효율적이게 되었다.