[논문 리뷰] Evaluating Text GANs as Language Models

Guy Tevet, Gavriel Habib외 2명|arXiv (Cornell University)|2018. 10. 30.

Topic Modeling참고 문헌 32인용 수 23

한 줄 요약

이 논문은 GAN이 생성한 텍스트의 확률 분포를 몽테카를로 기반으로 근사하는 방법을 제안하여, BPC 및 퍼플렉서티와 같은 표준 언어 모델 평가 지표를 사용한 평가를 가능하게 한다. 저자들은 RNN 기반 텍스트 GAN이 현재 최첨단 언어 모델보다 훨씬 열 劣한 성능을 보이며, BPC 점수도 최첨단 언어 모델의 것보다 훨씬 높다는 것을 보여준다.

ABSTRACT

Generative Adversarial Networks (GANs) are a promising approach for text generation that, unlike traditional language models (LM), does not suffer from the problem of ``exposure bias''. However, A major hurdle for understanding the potential of GANs for text generation is the lack of a clear evaluation metric. In this work, we propose to approximate the distribution of text generated by a GAN, which permits evaluating them with traditional probability-based LM metrics. We apply our approximation procedure on several GAN-based models and show that they currently perform substantially worse than state-of-the-art LMs. Our evaluation procedure promotes better understanding of the relation between GANs and LMs, and can accelerate progress in GAN-based text generation.

연구 동기 및 목표

• 표준 확률 기반 언어 모델 평가 지표로 직접 평가할 수 없는 텍스트 GAN에 대한 신뢰할 수 있는 평가 지표 부족 문제를 해결하기 위해.
• GAN 기반 텍스트 생성과 전통적 언어 모델링 간 격차를 메우기 위해 GAN의 출력 분포를 확률 분포로 근사함으로써.
• BPC 및 퍼플렉서티와 같은 표준 지표를 사용하여 RNN 기반 텍스트 GAN의 성능을 최첨단 언어 모델과 실증적으로 비교하기 위해.
• GAN 기반 텍스트 생성 분야의 진전을 지원하는 실용적이고 재현 가능한 평가 프레임워크를 제공하기 위해.

제안 방법

• 여러 차례 생성을 통해 텍스트 GAN 생성기의 기대 출력 분포를 몽테카를로 샘플링 절차를 사용해 근사하기.
• 샘플된 시퀀스들 내에서 토큰의 경험 빈도를 사용해 각 시점에서의 확률 분포를 추정하기.
• 연속된 근사치 간의 L-무한노름 차이를 기반으로 한 수렴 기준을 설정하여 충분한 샘플 크기를 결정하기.
• 정확도와 계산 비용의 균형을 맞추기 위해 임계값(γ′ = 10⁻³)과 샘플 간격(α = 10)을 설정하기.
• 결과로 얻어진 근사 분포를 표준 언어 모델 지표인 문자당 비트 수(Bits Per Character, BPC) 및 퍼플렉서티로 평가하기.
• 특정 모델(예: SeqGAN)이 명시적인 확률 분포를 출력하는 경우 진짜 BPC와 비교하여 근사 정확도를 검증하기.

실험 결과

연구 질문

• RQ1 몽테카를로 샘플링을 통해 텍스트 GAN의 출력 분포를 의미 있는 방식으로 근사할 수 있는가? 이를 통해 표준 언어 모델 지표로 평가가 가능해지는가?
• RQ2 BPC 및 퍼플렉서티로 평가했을 때, RNN 기반 텍스트 GAN의 성능은 최첨단 언어 모델에 비해 어떻게 되는가?
• RQ3 GAN에서의 적대적 훈련이 BPC 및 질적 샘플 분석으로 측정된 생성 텍스트의 품질을 떨어뜨리는가?
• RQ4 GAN의 출력 분포를 안정적이고 정확하게 근사하기 위해 필요한 최소 샘플 수는 얼마인가?

주요 결과

• 제안된 몽테카를로 근사 방법은 높은 정확도를 달성하여, SeqGAN에서 근사 BPC 값이 진짜 BPC에 비해 약간 높을 뿐이므로 방법의 신뢰성을 검증한다.
• 모든 평가된 RNN 기반 텍스트 GAN(Press et al., 2017; Yu et al., 2017)은 최첨단 언어 모델보다 훨씬 높은 BPC 점수를 보이며, 이는 성능이 훨씬 열 劣하다는 것을 시사한다.
• SeqGAN에서의 사전 훈련된 언어 모델 베이스라인은 BPC 1.95를 기록하지만, 적대적 미세조정 후 2.06으로 악화되어, 적대적 훈련이 성능에 악영향을 줄 수 있음을 시사한다.
• 더 긴 시퀀스 생성(100자)은 Recurrent GAN( press et al., 2017)의 경우 BPC에 뚜렷한 증가를 초래하여 스케일이 커질수록 품질이 떨어지는 경향을 보인다.
• 두 모델의 질적 샘플은 특히 긴 시퀀스에서 낮은 일관성과 반복성을 보이며, 이는 정량적 BPC 악화를 뒷받침한다.
• 수렴 분석을 통해 각 시점당 약 2000개의 샘플이 안정적인 근사를 확보하기 위해 필요하다는 것이 확인되었다.