[논문 리뷰] On Accurate Evaluation of GANs for Language Generation

Stanislau Semeniuta, Aliaksei Severyn외 1명|arXiv (Cornell University)|2018. 06. 13.

Topic Modeling참고 문헌 31인용 수 77

한 줄 요약

논문은 BLEU 기반 평가가 텍스트 GAN에 대해 불충분하다고 주장하고, 대안 지표들(특히 Frechet Distance with InferSent embeddings and reverse LM score)을 제안하며, 적절히 조정되고 공정하게 평가될 때 일반적인 언어 모델이 GAN보다 자주 더 우수하다는 것을 보여준다.

ABSTRACT

Generative Adversarial Networks (GANs) are a promising approach to language generation. The latest works introducing novel GAN models for language generation use n-gram based metrics for evaluation and only report single scores of the best run. In this paper, we argue that this often misrepresents the true picture and does not tell the full story, as GAN models can be extremely sensitive to the random initialization and small deviations from the best hyperparameter choice. In particular, we demonstrate that the previously used BLEU score is not sensitive to semantic deterioration of generated texts and propose alternative metrics that better capture the quality and diversity of the generated samples. We also conduct a set of experiments comparing a number of GAN models for text with a conventional Language Model (LM) and find that neither of the considered models performs convincingly better than the LM.

연구 동기 및 목표

• GANs를 사용한 자가 학습적 텍스트 생성에 대한 n-그램 기반 평가(예: BLEU)의 한계 평가.
• 생성된 텍스트의 품질과 다양성을 포착하는 지표(FD, reverse LM score)를 제안하고 검증한다.
• GAN 성능에 대한 하이퍼파라미터 민감도와 무작위 초기화의 영향을 보여준다.
• 공정한 평가 프로토콜 하에서 다양한 GAN 아키텍처를 기존의 언어 모델과 비교한다.

제안 방법

• 텍스트 GAN에 대한 평가 지표로서 BLEU 및 self-BLEU의 검토와 비판.
• InferSent 임베딩을 사용한 텍스트에서 Frechet Inception Distance(FID)의 적용(FD).
• 생성된 샘플이 실제 데이터 분포를 얼마나 잘 커버하는지 측정하기 위해 reverse Language Model score를 사용한다.
• 무작위 탐색(100회의 시도)과 재학습을 통한 체계적 다중 실행 하이퍼파라미터 튜닝으로 안정성(시드 간 평균 및 표준편차)을 정량화한다.
• 고정된 생성기 아키텍처(LSTM)를 사용하여 SNLI 및 MultiNLI에서 다양한 GAN 변형(연속 및 이산)을 평가한다.
• 제안된 프로토콜에 따라 GAN 변형(SeqGAN, LeakGAN 등)을 언어 모델 기반의 기준과 비교한다.

실험 결과

연구 질문

• RQ1 BLEU와 self-BLEU가 GAN이 생성한 텍스트의 품질과 다양성을 충분히 반영하는가?
• RQ2 FD와 reverse LM score가 실제 텍스트와 생성 텍스트 간의 의미적 품질 및 분포적 유사성을 더 잘 포착할 수 있는가?
• RQ3 일반적인 언어 모델과 비교할 때 GAN 기반 텍스트 발생기가 하이퍼파라미터와 무작위 시드에 얼마나 민감한가?
• RQ4 공정하고 다중 지표 프로토콜로 평가할 때 GAN이 표준 언어 모델에 명확한 우위를 제공하는가?

주요 결과

• BLEU 기반 지표는 텍스트 품질을 잘못 나타내고 의미적 저하를 놓칠 수 있다.
• FD와 reverse LM score는 BLEU가 놓치는 의미적 및 분포 차이를 신뢰성 있게 탐지한다.
• GAN 모델은 초기화와 하이퍼파라미터에 매우 민감하며 종종 광범위한 튜닝이 필요하지만, 적절한 튜닝이 이루어져도 잘 학습된 언어 모델을 드물게 이긴다.
• 본 연구에서 이산 GAN 모델(사전 학습 포함)이 일반적으로 연속형보다 우수하지만, 적절히 튜닝된 Language Model을 설득력 있게 능가하는 사례는 없다.
• 생성기의 사전 학습은 GAN 변형 전반에 걸쳐 합리적인 결과를 얻는 데 결정적이며, 과감한 학습률로의 장기 GAN 학습은 성능에 해를 끼치는 경우가 많다.
• 많은 설정에서 Language Model이 여러 지표에서 GAN보다 낫거나 유사한 성능을 달성하여 다중 지표 평가의 필요성을 강조한다.