[논문 리뷰] Latent Space Energy-Based Model of Symbol-Vector Coupling for Text Generation and Classification

Bo Pang, Ying Wu|arXiv (Cornell University)|2021. 08. 26.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 텍스트 생성을 위한 연속 잠재 벡터와 해석 가능성 및 분류를 위한 이산 기호 벡터를 동시에 학습하는 기반 에너지 모델(SVEBM)을 제안한다. 에너지 기반 사전 분포를 통해 이러한 두 벡터를 결합하고, 정보 병목 정규화를 적용한 암시적 추론을 사용함으로써, 높은 품질, 다양성, 해석 가능성 있는 텍스트 생성을 달성하면서도 효과적인 준감독 텍스트 분류를 가능하게 한다.

ABSTRACT

We propose a latent space energy-based prior model for text generation and classification. The model stands on a generator network that generates the text sequence based on a continuous latent vector. The energy term of the prior model couples a continuous latent vector and a symbolic one-hot vector, so that discrete category can be inferred from the observed example based on the continuous latent vector. Such a latent space coupling naturally enables incorporation of information bottleneck regularization to encourage the continuous latent vector to extract information from the observed example that is informative of the underlying category. In our learning method, the symbol-vector coupling, the generator network and the inference network are learned jointly. Our model can be learned in an unsupervised setting where no category labels are provided. It can also be learned in semi-supervised setting where category labels are provided for a subset of training examples. Our experiments demonstrate that the proposed model learns well-structured and meaningful latent space, which (1) guides the generator to generate text with high quality, diversity, and interpretability, and (2) effectively classifies text.

연구 동기 및 목표

• 연속 벡터와 이산 기호를 함께 사용하여 잠재 공간을 구조화함으로써, 텍스트 생성의 해석 가능성과 품질을 향상시키는 생성 모델을 개발한다.
• 순수하게 연속 또는 이산 잠재 공간을 사용할 경우 텍스트 생성에서 표현력과 해석 가능성의 균형을 이루는 데 한계가 있음을 해결한다.
• 대표성 학습 향상을 위해 공동 학습 프레임워크에 정보 병목 정규화를 통합한다.
• 생성자, 추론 및 기호-벡터 결합을 종합적으로 최적화하는 엔드 투 엔드 최적화를 통해 비감독 및 준감독 학습을 가능하게 한다.
• 결합된 잠재 공간이 고품질, 다채롭고 제어 가능한 텍스트 생성뿐만 아니라 정확한 분류를 지원함을 입증한다.

제안 방법

• 연속 잠재 벡터(z)와 이산 기호 원-핫 벡터(y)를 에너지 함수 pα(y,z)를 통해 결합하는 잠재 공간 기반 에너지 사전 분포 모델을 수립한다.
• 생성자 네트워크를 사용해 잠재 벡터 z를 텍스트 시퀀스 x로 매핑함으로써 상향식 텍스트 생성을 가능하게 한다.
• 관측된 텍스트에서 연속 잠재 벡터를 효율적으로 추론하기 위해 암시적 추론 네트워크 qϕ(z|x)를 활용함으로써 확장 가능한 학습을 지원한다.
• 로그우도의 변분 하한 기반의 공동 최적화 목표를 도입하여 기호-벡터 결합, 생성자, 추론 네트워크를 동시에 최적화한다.
• 연속 잠재 벡터 z와 기호 레이블 y 간의 상호정보량을 최대화하는 정보 병목 정규화를 적용함으로써, z가 카테고리 정보를 담은 특징을 추출하도록 유도한다.
• 레이블가 없는 비감독 학습과 일부 데이터에만 레이블이 있는 준감독 학습을 모두 지원하며, 추론된 z에서 소프트맥스를 통해 기호 벡터를 추론한다.

실험 결과

연구 질문

• RQ1 연속 및 이산 잠재 변수를 함께 결합하는 공동 에너지 기반 사전 분포 모델이 텍스트 생성의 해석 가능성과 품질을 향상시키는가?
• RQ2 소량의 레이블 예제만을 사용할 때 모델이 준감독 텍스트 분류를 얼마나 효과적으로 수행하는가?
• RQ3 정보 병목 정규화를 통합함으로써 잠재 공간 내의 표현이 더 의미 있고 분리된 특징을 가지는가?
• RQ4 기호-벡터 결합이 추론 시에 명시적 레이블 감독 없이도 정확하고 해석 가능한 분류를 가능하게 하는가?
• RQ5 기존의 VAE 기반 및 EBM 기반 모델과 비교해 생성 품질과 분류 정확도 측면에서 모델 성능은 어떠한가?

주요 결과

• 제안된 SVEBM는 고품질, 다양성, 해석 가능성을 모두 확보하는 잘 구조화된 의미 있는 잠재 공간을 학습한다.
• 모델은 텍스트 분류에서 뛰어난 성능을 보이며, 기호 벡터의 역할 덕분에 준감독 설정에서 정확도가 향상된다.
• 정보 병목 정규화가 성공적으로 연속 잠재 벡터가 기저 카테고리 정보를 담은 특징을 추출하도록 유도한다.
• 기호-벡터 결합, 생성자, 추론 네트워크의 공동 최적화가 추가 보조 네트워크 없이도 안정적이고 효과적인 학습을 가능하게 한다.
• 특히 분리된 표현 학습 측면에서 가우시안 혼합 사전 분포나 별도의 추론 헤드를 사용하는 기존 방법보다 모델 성능이 뛰어나다.
• MCMC 샘플링 대신 암시적 추론을 사용함으로써 정보 병목 최적화의 맥락에서 효율적이고 확장 가능한 학습이 가능해졌다.