[논문 리뷰] Formality Style Transfer with Hybrid Textual Annotations

Ruochen Xu, Tao Ge외 1명|arXiv (Cornell University)|2019. 03. 15.

Topic Modeling참고 문헌 12인용 수 31

한 줄 요약

이 논문은 병렬 데이터의 제한성과 풍부한 형식 분류가 된 비쌍체 데이터를 이원적 시퀀스-투-시퀀스 모델과 분류기 유도 및 복원 손실을 활용하여 공동으로 활용하는 하이브리드 학습 프레임워크를 제안한다. 이는 형식성 스타일 전이에서 최고 성능을 기록하며, 비지도 감성 전이 작업으로도 효과적으로 일반화된다.

ABSTRACT

Formality style transformation is the task of modifying the formality of a given sentence without changing its content. Its challenge is the lack of large-scale sentence-aligned parallel data. In this paper, we propose an omnivorous model that takes parallel data and formality-classified data jointly to alleviate the data sparsity issue. We empirically demonstrate the effectiveness of our approach by achieving the state-of-art performance on a recently proposed benchmark dataset of formality transfer. Furthermore, our model can be readily adapted to other unsupervised text style transfer tasks like unsupervised sentiment transfer and achieve competitive results on three widely recognized benchmarks.

연구 동기 및 목표

• 제한된 병렬 데이터와 대규모 형식 분류가 된 비쌍체 데이터를 결합하여 형식성 스타일 전이의 데이터 부족 문제를 해결한다.
• 단일 인코더-디코더 아키텍처를 사용한 이중 방향 스타일 전이를 통해 모델의 데이터 효율성과 성능을 향상시킨다.
• 분류기 유도 손실과 복원 손실을 통합하여 훈련 안정성과 콘텐츠 유지 능력을 향상시킨다.
• 감성 전이와 같은 다른 비지도 텍스트 스타일 전이 작업으로의 일반화를 가능하게 한다.
• 기본 평가 데이터셋에서 최고 성능을 달성하면서도 강력한 제로샷 전이 능력을 유지를 한다.

제안 방법

• 공유된 인코더-디코더 아키텍처를 사용하여 병렬 문장 쌍과 비쌍체, 형식 분류된 문장을 활용해 형식에서 비형식, 비형식에서 형식으로의 양방향 스타일 전이를 수행하는 이원적 시퀀스-투-시퀀스 모델을 훈련한다.
• 번역 손실(MLE), 자기 복원 손실, 사이클 복원 손실을 포함한 다중 손실을 공동 최적화하여 콘텐츠 유지 능력을 확보한다.
• 별도의 스타일 분류기가 분류기 유도 손실을 통해 피드백을 제공하여 모델이 목표 형식 수준을 가진 출력을 생성하도록 유도한다.
• 자기 복원 손실을 통해 분류기 유도 손실을 정규화하여 스타일 적응 과정에서 콘텐츠 열악화를 방지한다.
• 병렬 문장 쌍과 비쌍체, 형식 레이블이 부여된 문장들을 조합하여 프레임워크를 엔드 투 엔드로 훈련한다.
• 번역 손실을 제거하고 복원 및 분류기 피드백에 의존함으로써 비지도 감성 전이에 이 방법을 적응시킨다.

실험 결과

연구 질문

• RQ1 제한된 병렬 데이터와 비쌍체, 형식 분류된 데이터를 함께 활용하여 통합된 모델이 이중 방향 형식성 스타일 전이를 효과적으로 학습할 수 있는가?
• RQ2 병렬 데이터가 부족한 상황에서 형식 분류 데이터를 통합할 경우 성능 향상가능성은 어떠한가?
• RQ3 제안된 하이브리드 훈련 프레임워크가 감성 전이와 같은 다른 비지도 스타일 전이 작업으로 얼마나 잘 일반화되는가?
• RQ4 분류기 유도 손실과 복원 손실을 통합할 경우 콘텐츠 유지 및 스타일 전이 정확도 향상에 기여하는가?
• RQ5 각 손실 구성요소(번역, 자기 복원, 사이클 복원, 분류기 유도)가 전체 모델 성능에 기여하는 상대적 기여도는 어떠한가?

주요 결과

• 제안된 모델은 형식성 전이 벤치마크에서 최고 성능을 기록하였으며, 자동 평가 및 인간 평가 지표에서 이전 방법들을 모두 능가한다.
• Yelp 감성 전이 데이터셋에서 G-score가 0.78을 기록하여 이전 최고 성능 방법보다 기하 평균 정확도와 BLEU에서 5.2% 향상되었다.
• Amazon 감성 전이 데이터셋에서는 모든 기준선 대비 가장 높은 GLEU 점수를 기록하여 스타일 전이 정확도와 유창성 간의 균형이 뛰어나다는 것을 보여주었다.
• ImageCaption 데이터셋으로의 일반화도 효과적으로 이루어졌으며, 연인 관계에서 유머러스로, 유머러스에서 연인 관계로의 전이 과제에서 가장 높은 G-score를 기록하였다.
• 제거 실험 결과, 분류기 유도 손실과 복원 손실의 조합이 성능 향상에 크게 기여하며, 자기 복원 손실이 콘텐츠 유지에 핵심적인 역할을 한다는 것이 확인되었다.
• 제한된 병렬 데이터로도 고도로 콘텐츠 정밀도를 유지함으로써 하이브리드 주석 활용을 통한 강력한 데이터 효율성을 입증하였다.