[논문 리뷰] Incorporating Pseudo-Parallel Data for Quantifiable Sequence Editing.

Yi Liao, Lidong Bing외 4명|arXiv (Cornell University)|2018. 04. 19.

Topic Modeling참고 문헌 19인용 수 1

한 줄 요약

이 논문은 결과와 관련된 요소를 내용에서 분리하여 생성 정확도를 향상시키기 위해 가상의 평행 문장 쌍을 활용하는 정량적 시퀀스 편집(QuaSE) 프레임워크를 제안한다. 이중 재구성 구조를 통해 Yelp 리뷰 데이터에서 최신 기술을 초월하는 성능을 달성하여 감성 극성 정확도와 목표 값 오차 모두에서 기존 방법을 능가한다.

ABSTRACT

In the task of quantifiable sequence editing (QuaSE), a model needs to edit an input sentence to generate an output that satisfies a given outcome, which is a numerical value measuring a certain property of the output. For example, for review sentences, the outcome could be review ratings; for advertisement, the outcome could be click-through rate. We propose a framework which performs QuaSE by incorporating pseudo-parallel data. Our framework can capture the content similarity and the outcome differences by exploiting pseudo-parallel sentence pairs, which enables a better disentanglement of the latent factors that are relevant to the outcome and thus provides a solid basis to generate output satisfying the desired outcome. The dual reconstruction structure further enhances the capability of generating expected output by exploiting the coupling of latent factors of pseudo-parallel sentences. We prepare a dataset of Yelp review sentences with the ratings as outcome. Experimental results show that our framework can outperform state-of-the-art methods under both sentiment polarity accuracy and target value errors.

연구 동기 및 목표

• 특정 리뷰 평점이나 클릭률과 같은 특정 수치적 결과를 정확히 만족하는 텍스트 생성 문제를 해결하기 위해.
• 텍스트 생성에서 결과 관련 요소와 내용 요소를 분리하는 것을 향상시키기 위해.
• 내용 유사성과 결과 차이를 모두 모델링하기 위해 가상의 평행 문장 쌍을 활용하는 방법을 개발하기 위해.
• 이중 재구성 기반 잠재 요소 결합을 통해 생성 품질을 향상시키기 위해.

제안 방법

• 입력-출력 편집을 일관된 내용과 다른 결과를 가진 가상의 평행 문장 쌍으로 표현하기 위해 프레임워크가 가상의 평행 문장 쌍을 구성한다.
• 쌍으로 이루어진 문장 간의 내용 및 결과 요소 일관성을 강제하기 위해 이중 재구성 구조를 사용한다.
• 내용 유지와 결과 일치를 동시에 최적화하여 분리된 잠재 표현을 학습한다.
• 가상의 평행 쌍에서 잠재 요소의 결합을 활용하여 생성 정밀도와 결과 제어를 향상시킨다.
• 내용을 유지하는 재구성 손실과 목표 결과에 일치하는 예측 손실을 함께 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 평가를 위해 평점이 결과 지표로 사용된 새로 구축한 Yelp 리뷰 데이터셋을 사용한다.

실험 결과

연구 질문

• RQ1 가상의 평행 데이터는 시퀀스 편집에서 결과 관련 요소의 분리에 기여하는가?
• RQ2 이중 재구성 구조는 텍스트 생성에서 결과 제어와 내용 유지에 얼마나 효과적인가?
• RQ3 가상의 평행 쌍을 통한 결과 인지 감독을 통합할 경우, 최신 기술 대비 목표 결과 정확도에서 더 높은 성능을 내는가?
• RQ4 모델은 시퀀스 편집에서 예측되지 않은 결과 값으로까지 일반화되는가?

주요 결과

• 제안된 프레임워크는 Yelp 리뷰 데이터셋에서 감성 극성 정확도에서 최신 기술을 초월한다.
• 기존 접근 방식 대비 낮은 목표 값 오차를 기록하여 결과 제어의 정밀도 향상을 시사한다.
• 이중 재구성 메커니즘이 내용 요소와 결과 요소의 분리에 효과적으로 기여한다.
• 가상의 평행 데이터 활용이 목표 수치 결과를 정확히 반영하는 출력 생성 능력을 크게 향상시킨다.
• 다양한 결과 값에 걸쳐 우수한 성능을 유지하여 강력한 일반화 능력을 보여준다.
• 이중 재구성에 의한 잠재 요소 결합을 활용할 경우 생성 품질 향상과 결과 일치도 향상이 확인된다.