[논문 리뷰] Generating Sentences from Disentangled Syntactic and Semantic Spaces

Yu Bao, Hao Zhou외 6명|arXiv (Cornell University)|2019. 07. 06.

Topic Modeling참고 문헌 38인용 수 13

한 줄 요약

이 논문은 연속된 잠복 공간에서 문법적 구조와 의미적 표현을 분리하는 변동형 오토인코더인 DSS-VAE를 제안한다. 이는 선형화된 트리 시퀀스를 통해 문법을 명시적으로 모델링할 수 있게 한다. 적대적 정규화와 별도의 잠복 공간을 도입함으로써 DSS-VAE는 문장 생성 품질을 향상시키고, 병렬 코퍼스가 필요 없는 비지도적 어휘 재구성 및 문법 전이 생성과 같은 새로운 응용 가능성을 제공하며, 재구성 및 제로샷 생성 과제에서 기존 모델들을 능가한다.

ABSTRACT

Variational auto-encoders (VAEs) are widely used in natural language generation due to the regularization of the latent space. However, generating sentences from the continuous latent space does not explicitly model the syntactic information. In this paper, we propose to generate sentences from disentangled syntactic and semantic spaces. Our proposed method explicitly models syntactic information in the VAE's latent space by using the linearized tree sequence, leading to better performance of language generation. Additionally, the advantage of sampling in the disentangled syntactic and semantic latent spaces enables us to perform novel applications, such as the unsupervised paraphrase generation and syntax-transfer generation. Experimental results show that our proposed model achieves similar or better performance in various tasks, compared with state-of-the-art related work.

연구 동기 및 목표

• 기존 VAE가 잠복 공간에서 문법적 정보와 의미적 정보를 혼합하는 한계를 해결함으로써, 명시적인 문법 제어를 방해하는 문제를 해결하고자 한다.
• 연속된 잠복 공간에서 문법을 샘플링하고 조작할 수 있도록 하여, VAE의 장점을 유지하면서도 문법적 구조를 명시적으로 모델링하고자 한다.
• 병렬 코퍼스가 필요 없는 비지도적 어휘 재구성 생성 및 문법 전이 생성과 같은 새로운 응용을 개발하고자 한다.
• 잠복 공간에서 의미와 문법을 분리함으로써 무조건적 언어 생성 품질을 향상시키고자 한다.
• 잠복 공간 간의 적대적 정규화가 분리도 및 생성 성능을 향상시킨다는 것을 검증하고자 한다.

제안 방법

• DSS-VAE는 의미($\bm{z}_{\text{sem}}$)와 문법($\bm{z}_{\text{syn}}$)을 위한 두 개의 별도 연속 잠복 변수를 도입하며, 각각 별도의 추론 네트워크를 통해 학습된다.
• 문법은 의존 관계 또는 구성 구조 분석에서 유도된 선형화된 트리 시퀀스를 사용하여 인코딩되며, 이는 잠복 공간 내에서의 구조적 모델링을 가능하게 한다.
• 의미적 및 문법적 공간에 대해 적대적 훈련을 적용하여, 분리도를 강화하고 정보 유출을 방지하기 위해 구분자(discriminators)를 사용한다.
• 잠복 공간을 정규화하기 위해 적대적 재구성 손실($\mathcal{L}^{\text{(adv)}}_{\text{rec}}$)을 도입하여, 각 공간이 자신이 할당된 정보만 정확히 캡처하도록 보장한다.
• 생성 과정에서는 $\bm{z}_{\text{sem}}$와 $\bm{z}_{\text{syn}}$를 독립적으로 샘플링하거나, 특정 속성(예: 의미를 유지하면서 문법을 변경)을 조작하기 위해 MAP 추론을 사용한다.
• 문법 전이 생성은 한 문장의 의미 벡터와 다른 문장의 문법 벡터를 조합하여 달성되며, $\bm{z}^*_{\text{sem}} = \arg\max q(\bm{z}_{\text{sem}}|\bm{x}_2)$ 및 $\bm{z}^*_{\text{syn}} = \arg\max q(\bm{z}_{\text{syn}}|\bm{x}_1)$를 사용한다.

실험 결과

연구 질문

• RQ1 VAE의 연속 잠복 공간에서 명시적인 문법 모델링이 무조건적 문장 생성 품질을 향상시킬 수 있는가?
• RQ2 분리된 문법적 및 의미적 공간은 병렬 데이터 없이 효과적인 비지도적 어휘 재구성 생성을 가능하게 하는가?
• RQ3 잠복 공간 조작만으로 문장 간의 문법 구조를 전이하여 문법 전이 생성을 달성할 수 있는가?
• RQ4 의미적 및 문법적 공간 간의 적대적 정규화가 분리도 및 생성 성능을 향상시키는가?
• RQ5 문법 전이 생성 과정에서 의미의 유사성과 문법의 신선도 사이의 균형을 유지하는 데 모델의 성능은 어떠한가?

주요 결과

• DSS-VAE는 표준 VAE보다 낮은 퍼플렉서티와 높은 BLEU 점수를 기록하여, 무조건적 생성에서 유창성과 재구성 품질이 향상되었음을 시사한다.
• 비지도 어휘 재구성 생성 과제에서 DSS-VAE는 표준 VAE와 메트로폴리스-해스팅스 샘플링 기반 베이스라인을 모두 능가하며, 더 뛰어난 어휘 재구성 품질을 보였다.
• 완전한 DSS-VAE 모델은 $\Delta$ word-BLEU와 $\Delta$ TED에서 가장 높은 총 차이를 기록하여, 문법 전이 생성에서 의미 유사성과 문법의 신선도 사이의 최적 균형을 확보했다.
• 적대적 재구성 손실의 포함으로 생성 성능의 총 차이가 12.09 증가하여, 분리도 향상에 효과적이라는 것을 확인했다.
• 서로 다른 길이 등 구조적으로 불일치하는 문장 간의 문법 전이 결과는 다소 열악한 편이었으며, 이는 전이 성공에 있어 구조적 호환성이 중요한 영향을 미친다는 것을 시사한다.
• 모델는 한 문장의 의미에 다른 문장의 문법을 성공적으로 통합하여 의미적으로 일관되면서도 문법적으로 새로운 출력을 생성했으며, 자동 평가 및 정성적 평가를 통해 검증되었다.