[논문 리뷰] Eval all, trust a few, do wrong to none: Comparing sentence generation models

Ondřej Cífka, Aliaksei Severyn외 2명|arXiv (Cornell University)|2018. 04. 21.

Topic Modeling참고 문헌 18인용 수 33

한 줄 요약

이 논문은 신경망 문장 생성 모델에 대한 철저한 평가 프레임워크를 제안하며, 자동 평가 및 인간 평가 지표를 사용하여 단순한, 변동형, 그리고 적대적으로 정규화된 오토인코더를 비교한다. 연구 결과, 잠재 공간 정규화와 노이즈 주입과 같은 단순한 정규화 기법들이 구형 사전 분포를 가진 단순 오토인코더가 재구성 성능에서 최신 기술 수준(SOTA) 모델을 능가하면서도 강력한 생성 품질을 유지할 수 있음을 보여준다.

ABSTRACT

In this paper, we study recent neural generative models for text generation related to variational autoencoders. Previous works have employed various techniques to control the prior distribution of the latent codes in these models, which is important for sampling performance, but little attention has been paid to reconstruction error. In our study, we follow a rigorous evaluation protocol using a large set of previously used and novel automatic and human evaluation metrics, applied to both generated samples and reconstructions. We hope that it will become the new evaluation standard when comparing neural generative models for text.

연구 동기 및 목표

• 신경망 텍스트 생성 연구에서 재구성 및 무조건적 생성 작업에 대한 표준화된 평가 부족 문제를 해결한다.
• 잠재 코드 정규화, 노이즈 주입, 드롭아웃과 같은 정규화 기법이 오토인코더 성능에 미치는 영향을 조사한다.
• 동일한 실험 조건에서 다양한 오토인코더 변종(AE, VAE, AAE, ARAE)을 비교하여 모델 행동의 차이를 분리한다.
• 생성 샘플과 재구성 입력에 대한 자동 평가 지표와 인간 평가를 병행하여 생성 모델 평가의 새로운 벤치마크를 수립한다.
• 이미지 생성 평가에 영감을 받은 새로운 자동 평가 지표인 Fréchet InferSent Distance를 제안하여 텍스트 생성 품질을 평가한다.

제안 방법

• 생성 문장과 재구성된 입력에 대한 자동 평가 지표(역/정방향 교차 엔트로피, FID, 유창성 점수)와 인간 평가를 병행한 종합적인 평가 프로토콜을 적용한다.
• 단순 오토인코더, 변동형 오토인코더, 적대적으로 정규화된 ARAE, 그리고 정규 분포 및 구형 사전 분포를 가진 두 가지 변종의 적대적 오토인코더(AAE) 총 다섯 종류의 오토인코더 모델을 구현하고 비교한다.
• 잠재 표현을 단위 구면에 제약을 두기 위해 잠재 코드 정규화를 적용하고, 일반화 성능 향상과 모드 붕괴 방지를 위해 잠재 표현에 노이즈를 주입한다.
• 학습 중에 RNN 드롭아웃을 사용하여 잠재 공간에서의 학습 안정성과 과적합을 감소시킨다.
• 이미지 생성에서 사용되는 Fréchet Inception Distance(FID)를 텍스트에 적용하기 위해 사전 학습된 InferSent 문장 임베딩을 사용하여 실제 문장 분포와 생성된 문장 분포 간의 Fréchet 거리를 계산한다.
• t-SNE를 사용하여 학습된 잠재 표현을 시각화하여 다양한 모델 간의 문장 인코딩의 매끄럽고 분리 가능한 성질을 분석한다.

실험 결과

연구 질문

• RQ1 예를 들어 구형 사전 분포, 노이즈 주입 등의 다양한 정규화 기법이 오토인코더 기반 텍스트 생성에서 재구성 정확도와 생성 품질에 어떤 영향을 미치는가?
• RQ2 표준 VAE에 비해 적대적 학습과 사전 분포 정규화가 샘플 다양성과 재구성 정밀도 향상에 얼마나 기여하는가?
• RQ3 단순한 정규화 기법을 사용하는 단순 오토인코더가 VAE나 ARAE와 같은 더 복잡한 모델보다 재구성과 무조건적 생성 모두에서 뛰어난 성능을 낼 수 있는가?
• RQ4 역교차 엔트로피와 FID와 같은 자동 평가 지표가 인간 평가의 유창성과 다양성과 얼마나 상관이 있는가?
• RQ5 제안된 Fréchet InferSent Distance는 실제와 생성된 텍스트 분포 간의 분포 유사성을 효과적으로 캡처하는가?

주요 결과

• 구형 사전 분포를 가진 단순 오토인코더(AE-sph)가 가장 뛰어난 재구성 성능를 기록하며, VAE와 ARAE를 뚜렷이 앞선다.
• σ=0.1을 가진 AE-sph는 정방향 교차 엔트로피에서 최고 성능을 보이며, 최고 성능의 VAE와 비교해 FID는 약간 높게 나타나 좋은 샘플 품질을 보여준다.
• 실제 데이터보다 낮은 역교차 엔트로피를 기록함으로써 모드 붕괴가 발생했을 가능성이 있으나, VAE보다 더 높은 역교차 엔트로피를 기록함으로써 분포 붕괴가 덜 심각하다는 것을 시사한다.
• AE-sph는 언어 모델보다 높은 유창성 점수를 기록하며, 유일하게 VAE에 이르지 못하는 것으로 나타나 강력한 생성 품질을 보여준다.
• 적대적 학습은 구형 사전 분포 모델에 대해 거의 유의미한 이점을 제공하지 않으며, AAE-sph가 AE-sph와 유사한 성능을 보임으로써 노이즈 주입과 정규화가 우수한 성능를 확보하는 데 충분함을 시사한다.
• ARAE 모델은 가장 높은 재구성 점수를 기록하지만 인간 평가에서는 성능이 열악하여 재구성과 샘플 품질 사이에 상충 관계가 있음을 보여준다.