[논문 리뷰] Self-Adversarial Learning with Comparative Discrimination for Text Generation

Wangchunshu Zhou, Tao Ge외 3명|arXiv (Cornell University)|2020. 01. 31.

Topic Modeling참고 문헌 25인용 수 11

한 줄 요약

이 논문은 텍스트 생성을 위한 새로운 GAN 프레임워크인 자기적대적 학습(Self-Adversarial Learning, SAL)을 제안한다. 이는 기존의 이진 판별자 대신 비교적 판별자를 도입하여 생성자에게 자기 향상에 기반한 보상을 제공함으로써, 현재 출력을 이전에 생성된 샘플과 비교함으로써 성능 향상을 유도한다. 생성자가 자신의 이전 샘플보다 향상된 경우에 밀도 높고 정보가 풍부한 보상을 받을 수 있도록 함으로써, SAL은 보상 희소성과 모드 붕괴 문제를 크게 완화하며, 벤치마크 데이터셋에서 텍스트 품질과 다양성 측면에서 뛰어난 성능을 발휘한다.

ABSTRACT

Conventional Generative Adversarial Networks (GANs) for text generation tend to have issues of reward sparsity and mode collapse that affect the quality and diversity of generated samples. To address the issues, we propose a novel self-adversarial learning (SAL) paradigm for improving GANs' performance in text generation. In contrast to standard GANs that use a binary classifier as its discriminator to predict whether a sample is real or generated, SAL employs a comparative discriminator which is a pairwise classifier for comparing the text quality between a pair of samples. During training, SAL rewards the generator when its currently generated sentence is found to be better than its previously generated samples. This self-improvement reward mechanism allows the model to receive credits more easily and avoid collapsing towards the limited number of real samples, which not only helps alleviate the reward sparsity issue but also reduces the risk of mode collapse. Experiments on text generation benchmark datasets show that our proposed approach substantially improves both the quality and the diversity, and yields more stable performance compared to the previous GANs for text generation.

연구 동기 및 목표

• 고품질 및 다양한 텍스트 생성을 저해하는 텍스트 GAN에서의 보상 희소성과 모드 붕괴 문제를 해결하기 위해.
• 자기 향상 보상 메커니즘을 도입하여 적대적 텍스트 생성의 학습 안정성과 성능을 향상시키기 위해.
• 표준 이진 분류를 대체하여 쌍별 비교를 판별기의 핵심 학습 신호로 사용하기 위해.
• 쌍별 학습과 자기대결 역학의 효과성을 텍스트 생성에서 평가하기 위해.
• 기존의 GAN 기반 텍스트 생성 방법들에 비해 품질과 다양성 측면에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 생성자가 현재 출력이 이전에 생성된 샘플보다 더 나은 것으로 평가될 경우에 보상을 받는 자기적대적 학습(SAL) 프레임워크를 도입한다.
• 두 개의 생성된 문장을 '더 좋음', '더 나쁨', 또는 '약간 유사함'으로 분류하는 삼중 분류 비교적 판별자를 사용한다.
• 정책 기반 강화 학습 알고리즘을 사용하며, 보상은 현재 생성된 샘플과 이전 생성된 샘플 간의 비교 점수로 구성된다.
• 딥 강화 학습에서 유래한 스케줄링된 보상과 메모리 재생 기법을 적용하여 학습을 안정화시킨다.
• 생성자를 최소화-최대화 목표로 학습시키며, 판별자는 실재/가짜 레이블이 아닌 상대적 품질을 평가한다.
• AlphaGo에서 영감을 얻은 자기대결 역학을 활용하여 시간이 지남에 따라 지속적인 향상을 유도한다.

실험 결과

연구 질문

• RQ1 생성된 샘플 간의 상대적 품질을 평가하는 비교적 판별자가 텍스트 GAN의 학습 안정성 향상에 기여하는가?
• RQ2 자기 향상 보상 메커니즘이 텍스트 생성에서 보상 희소성 문제를 줄이고 학습 신호의 밀도를 높이는가?
• RQ3 표준 GAN에 비해 자기적대적 학습이 모드 붕괴 문제를 얼마나 효과적으로 완화하는가?
• RQ4 비교적 판별기에서 '약간 유사함' 클래스의 포함 여부가 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 기존의 GAN 기반 텍스트 생성 접근법보다 더 뛰어난 품질과 다양성을 달성할 수 있는가?

주요 결과

• COCO 데이터셋에서 SAL은 231.3 ± 10.8의 퍼플렉서티를 기록하여 CAL(276.7 ± 12.5) 및 기타 아블레이션 변형보다 유의미하게 뛰어난 성능을 보였다.
• 합성 데이터에서 SAL은 NLL 14.29 ± 0.11을 기록하여 이어지는 최선의 베이스라인(14.65 ± 0.16)보다 유의미하게 낮았다.
• 아블레이션 연구에서 '≈' 클래스를 제거할 경우 성능 저하가 가장 심했으며, 이는 안정적인 비교 기준으로서의 중요성을 시사한다.
• 스케줄링된 보상 제거 및 메모리 재생 제거 아블레이션 모두 성능 저하를 보였으며, 이는 이러한 기법들이 학습 안정성에 기여한다는 것을 확인했지만, 핵심 구성 요소만큼은 중요하지는 않았다.
• 비교적 판별기만을 사용하는 CAL도 표준 GAN을 능가하는 성능을 보였으며, 이는 비교를 통한 학습 방식이 효과적이라는 것을 증명한다.
• SAL은 더 안정적인 학습과 더 나은 일반화 성능을 보였으며, 이전 방법들에 비해 실행 간 변동성이 낮았다.