[논문 리뷰] Improving Disentangled Text Representation Learning with Information-Theoretic Guidance

Pengyu Cheng, Martin Renqiang Min외 5명|arXiv (Cornell University)|2020. 06. 01.

Topic Modeling참고 문헌 38인용 수 4

한 줄 요약

이 논문은 샘플 기반 상호정보 상한을 최소화하여 스타일 및 컨텐츠 임베딩 간의 종속성을 줄이고, 입력 텍스트와의 상호정보를 최대화하여 의미적 컨텐츠를 유지함으로써, 이산적인 텍스트의 특성으로 인해 복잡해지는 스타일과 컨텐츠의 분리된 표현을 학습하기 위한 정보이론적 프레임워크인 IDEL을 제안한다. 이 방법은 강한 분리도와 컨텐츠 유지 능력을 바탕으로 스타일 전이 및 조건부 생성에서 최신 기준 성능을 달성한다.

ABSTRACT

Learning disentangled representations of natural language is essential for many NLP tasks, e.g., conditional text generation, style transfer, personalized dialogue systems, etc. Similar problems have been studied extensively for other forms of data, such as images and videos. However, the discrete nature of natural language makes the disentangling of textual representations more challenging (e.g., the manipulation over the data space cannot be easily achieved). Inspired by information theory, we propose a novel method that effectively manifests disentangled representations of text, without any supervision on semantics. A new mutual information upper bound is derived and leveraged to measure dependence between style and content. By minimizing this upper bound, the proposed method induces style and content embeddings into two independent low-dimensional spaces. Experiments on both conditional text generation and text-style transfer demonstrate the high quality of our disentangled representation in terms of content and style preservation.

연구 동기 및 목표

• 텍스트의 이산적 성격으로 인해 조작 및 분리가 어려운 자연어에서 분리된 표현을 학습하는 데 도전하는 것.
• 수동적 레이블링이나 사전 정의된 스타일 카테고리가 필요 없이 스타일과 컨텐츠를 분리하는 자기지도 학습 방법을 개발하는 것.
• 스타일과 컨텐츠 임베딩 간의 낮은 종속성을 보장하기 위해 정보이론에 기반한 이론적으로 타당한 목적함수를 제공하는 것.
• 입력 문장과 잠재 코드 사이의 상호정보를 최대화하여 잠재 표현에서 의미적 컨텐츠를 유지하는 것.
• 하류 작업에서 스타일 전이 정확도와 컨텐츠 유지 간의 균형 잡힌 무게 조정을 달성하는 것.

제안 방법

• 스타일과 컨텐츠 임베딩 간의 종속성을 측정하고 최소화하기 위해 정보이론적 목적함수를 제안하며, 이는 정보의 변동성(VI) 기반이다.
• 학습 중 임베딩 상관관계를 안정적이고 효과적으로 최소화하기 위해 샘플 기반 상호정보 상한을 유도한다.
• 잠재 표현이 입력 문장에 대한 충분한 정보를 유지하도록, 상한 최소화를 복원 목적함수와 통합한다.
• 입력 텍스트와 잠재 표현 간의 상호정보를 최대화하여 컨텐츠 무결성을 유지한다.
• 스타일과 컨텐츠를 별도로 인코딩하는 구조를 갖춘 변동형 오토인코더 기반 아키텍처를 사용하며, 제안된 목적함수를 기반으로 엔드 투 엔드로 훈련한다.
• 학습 효율성과 성능 향상을 위해 상호정보 상한의 확률적 근사를 사용한다.

실험 결과

연구 질문

• RQ1 감독 없이도 정보이론적 목적함수가 자연어에서 스타일과 컨텐츠 표현을 효과적으로 분리할 수 있는가?
• RQ2 이산적 텍스트 데이터에 대해 스타일과 컨텐츠 임베딩 간의 상호정보를 미분 가능하고 안정적인 방식으로 최소화할 수 있는가?
• RQ3 입력 정보를 유지하면서 임베딩 종속성을 최소화하는 것이 스타일 전이 및 조건부 생성 성능 향상에 기여하는가?
• RQ4 스타일 전이 정확도와 컨텐츠 유지 간의 무게 조정은 무엇이며, 제안된 방법이 더 균형 잡힌 성능을 달성할 수 있는가?
• RQ5 자기지도 학습 성격을 고려할 때, 미세조정 없이도 새로운 스타일 클래스에 일반화 가능한가?

주요 결과

• IDEL은 스타일 전이에서 Yelp 데이터셋에서 기하평균(GM) 점수 41.9를 기록하며, BT 및 ARAE와 같은 강력한 베이스라인을 능가한다.
• 인간 평가에서 IDEL은 스타일 정확도 73.7%와 컨텐츠 유지도 3.69/5를 기록하며, CtrlGen, CAAE 및 ARAE를 모두 능가한다.
• 제거 실험에서 상호정보 상한을 제거한 경우(IDEL -) 스타일 전이 정확도가 심각하게 떨어지며, 이는 상한의 핵심적 역할을 확인한다.
• I(s;y) 항을 추가하면 스타일 전이 정확도는 향상되지만 컨텐츠 유지도가 악화되고, I(c;x) 항을 추가하면 컨텐츠 무결성은 향상되지만 스타일 정확도는 떨어지므로, 이는 상호보완적 무게 조정의 존재를 보여준다.
• 확률적 버전(IDEL*)이 폐쇄형 버전(IDEL∗)보다 성능이 뛰어나며, 이는 확률적 추정이 학습 속도와 모델 성능 향상에 기여함을 시사한다.
• IDEL은 높은 BLEU 및 S-BLEU 점수를 기록하면서도 강력한 스타일 전이 성능도 유지하여 균형 잡히고 고품질의 분리된 표현을 달성한다.