[논문 리뷰] Disentangled Representations for Manipulation of Sentiment in Text

Maria Larsson, Amanda Nilsson외 1명|arXiv (Cornell University)|2017. 12. 22.

Topic Modeling참고 문헌 11인용 수 8

한 줄 요약

이 논문은 최대 평균 차이(MMD)를 사용하여 문장 표현을 연속적인 임bedding 공간에서 탐색함으로써 텍스트 내 감정과 의미적 내용을 분리하는 방법을 제안한다. CNN를 통해 문장을 인코딩하고, MMD 기반의 탐색을 통해 감정을 조작한 후 RNN으로 디코딩함으로써, 주제와 핵심 의미를 유지하면서도 의미적으로 안정적인 감정 수정 문장을 생성하는 모델을 구현한다.

ABSTRACT

The ability to change arbitrary aspects of a text while leaving the core message intact could have a strong impact in fields like marketing and politics by enabling e.g. automatic optimization of message impact and personalized language adapted to the receiver's profile. In this paper we take a first step towards such a system by presenting an algorithm that can manipulate the sentiment of a text while preserving its semantics using disentangled representations. Validation is performed by examining trajectories in embedding space and analyzing transformed sentences for semantic preservation while expression of desired sentiment shift.

연구 동기 및 목표

• 핵심 의미와 주제를 유지하면서 문장의 감정을 자동으로 변경할 수 있는 시스템을 개발하는 것.
• 의미를 변경하지 않고 감정과 같은 글로벌 텍스트 성질을 제어하기 위해 분리된 표현의 가능성을 탐색하는 것.
• 감정 조작 후에도 의미적으로 안정적이고 자연스러운 어휘로 구성된 문장을 생성할 수 있는지 평가하는 것.
• 임베딩 공간 내의 다양체 탐색이 맥락적 일관성을 유지하면서도 의미 있는 감정 이동을 가능하게 하는지 보여주는 것.

제안 방법

• word2vec 임베딩을 사용한 CNN를 통해 문장을 인코딩하고, 감정 분류와 문장 표현을 함께 학습한다.
• CNN의 맥스 풀링 레이어에서 추출된 특징 벡터를 연속적인 문장 표현(z)으로 사용한다.
• 원천(예: 부정)과 대상(예: 긍정) 문장 임베딩 간의 탐색 방향을 계산하기 위해 MMD를 사용하여 감정 이동을 유도한다.
• 커널 기반의 MMD 목적함수를 사용하여 특징 분포를 비교하고, 가우시안 커널을 적용해 탐색 방향을 계산한다.
• 학습된 RNN이 탐색된 표현(z*)을 자연어 문장으로 디코딩한다.
• 초기로 불량 문장을 사용해 의미 표현을 향상시키기 위해 공유된 인코더-디코더 아키텍처를 활용한다.

실험 결과

연구 질문

• RQ1 분리된 표현이 의미적 내용을 유지하면서 감정을 제어적으로 조작하는 데에 효과적인가?
• RQ2 감정 변환 과정에서 MMD 기반 탐색이 원본 문장의 주제와 의미를 어느 정도 유지하는가?
• RQ3 감정 조작 후 생성된 문장이 문법적으로 수용 가능하고 논리적으로 일관성 있는가?
• RQ4 감정 클래스 간 탐색 시 다양한 주제에 대해 일반화되는가?
• RQ5 원본 및 대상 세트의 주제 구성이 다를 경우에도 모델이 의미적으로 안정적인 출력을 생성할 수 있는가?

주요 결과

• MMD 기반 탐색이 문장 표현의 감정을 성공적으로 이동시켰으며, 부정 문장을 긍정 클러스터 쪽으로, 반대로 긍정 문장을 부정 클러스터 쪽으로 이동시켰다.
• 임베딩 공간 내 시각화 결과, 탐색된 벡터가 대상 감정 클러스터(예: 부정 영화 문장이 긍정 영화 클러스터 쪽으로 이동)와 잘 일치하는 것으로 나타났다.
• 탐색된 표현에서 생성된 문장은 원본 주제와 핵심 단어를 유지하여 강력한 의미 유지가 이루어졌음을 시사한다.
• 짧은 문장일수록 더 안정적으로 인코딩되고 디코딩되었으며, 이는 문장 길이가 모델 성능에 영향을 미칠 수 있음을 시사한다.
• 문법적 결함이 존재했음에도 불구하고, 감정 변환 후 생성된 문장은 의미적으로 수용 가능하고 맥락적으로 일관성 있는 것으로 평가되었다.
• 모델은 분리된 표현이 핵심 메시지나 주제를 변경하지 않고도 제어적이고 의미 있는 감정 조작을 가능하게 함을 보여주었다.