[논문 리뷰] Content preserving text generation with attribute controls

Lajanugen Logeswaran, Honglak Lee외 1명|arXiv (Cornell University)|2018. 11. 03.

Topic Modeling인용 수 82

한 줄 요약

이 논문은 보간된 재구성 손실과 하나의 적대적 판별기를 사용하여 여러 텍스트 속성을 제어하면서도 내용을 보존하는 모델을 제안하고, 감정 및 스타일 전송 태스크에서 평가한다.

ABSTRACT

In this work, we address the problem of modifying textual attributes of sentences. Given an input sentence and a set of attribute labels, we attempt to generate sentences that are compatible with the conditioning information. To ensure that the model generates content compatible sentences, we introduce a reconstruction loss which interpolates between auto-encoding and back-translation loss components. We propose an adversarial loss to enforce generated samples to be attribute compatible and realistic. Through quantitative, qualitative and human evaluations we demonstrate that our model is capable of generating fluent sentences that better reflect the conditioning information compared to prior methods. We further demonstrate that the model is capable of simultaneously controlling multiple attributes.

연구 동기 및 목표

• 내용을 잃지 않으면서 텍스트 속성을 수정할 필요성을 제시한다.
• 특성 라벨에 조건화된 콘텐츠 호환적 문장 생성을 학습하는 모델을 개발한다.
• 내용 보존을 위해 자동인코딩과 역번역을 보간하는 재구성 손실을 도입한다.
• 현실성과 속성 호환성을 보장하기 위해 적대적 판별기를 활용한다.
• 여러 텍스트 속성을 동시에 제어하고 병렬 데이터 없이 평가를 수행한다.

제안 방법

• 입력 x로부터 콘텐츠 표현 zx를 추출하는 인코더-디코더 구조이며, 디코더는 zx와 속성 벡터 l에 조건화하여 y를 생성한다.
• 콘텐츠 보존 재구성 손실: 자동인코딩 손실 Lae, 역번역 손실 Lbt, 그리고 zx와 zy를 zxy를 통해 융합하여 x를 재구성하는 보간 손실 Lint.
• 현실성과 속성 호환성을 강제하기 위한 프로젝션 판별기를 가진 적대적 손실 Ladv.
• 결합 목표 Lint + λLadv, Bernoulli-보간 잠재 혼합 및 생성 시 하드 샘플링 등을 포함한 학습 세부사항.
• 소프트 샘플링 vs 하드 샘플링에 대한 논의 및 신뢰성 향상을 위한 하드 샘플링 시퀀스 사용 선택.
• 문장과 속성 벡터의 결합 분포를 모델링하는 단일 판별기를 통해 다중 속성으로의 확장 가능성.

실험 결과

연구 질문

• RQ1 지정된 속성을 반영하도록 문장을 변환할 때 콘텐츠가 보존될 수 있는가?
• RQ2 단일 판별기가 다중 속성에 걸쳐 현실성과 속성 호환성 모두를 강제할 수 있는가?
• RQ3 보간 재구성이 사소한 복제(copied) 회피 및 콘텐츠 보존 향상에 도움이 되는가?
• RQ4 병렬 데이터 없이도 다중 속성을 동시에 제어하는 것이 가능한가?
• RQ5 제안된 방법이 객관적 지표와 인간 평가에서 기존 스타일 전송 방법과 어떻게 비교되는가?

주요 결과

• 제안된 모델은 Yelp(90.50%)와 IMDB(94.46%)에서 높은 속성 정확도를 달성한다.
• 콘텐츠 보존(BLEU-1) 점수는 Yelp에서 53.0, IMDB에서 40.3으로 제안된 모델에서 나타난다.
• 유창성(혼란도) 점수는 Yelp 7.5, IMDB 2.2로 제안된 모델에서 나타나 경쟁력 있는 유창성을 시사한다.
• 주관적 인간 판단은 속성 호환성 및 콘텐츠 보존 측면에서 제안된 모델을 Ctrl-gen 및 Cross-align보다 우수하다고 평가한다.
• 감독학습 기반 기준선보다 우수한 성능을 보인다.
• 모델은 분위, 시제, 음성, 부정 등 다중 속성을 높은 정확도로 동시 제어를 시연한다(생성 샘플의 예: 분위 98%, 시제 98%, 음성 90%, 부정 97%).