[논문 리뷰] Evaluating Style Transfer for Text

Remi Mir, Bjarke Felbo외 2명|arXiv (Cornell University)|2019. 04. 04.

Topic Modeling참고 문헌 24인용 수 6

한 줄 요약

이 논문은 인간 평가 및 자동 평가 지표를 사용하여 스타일 전이 강도, 콘텐츠 유지도, 자연스러움을 평가하는 표준화된 평가 프레임워크를 제안한다. 방향 보정된 지구이동거리, 스타일 마스크된 워드이동거리, 적대적 분류기를 도입하여 이전 방법보다 인간 평가와 더 강한 상관관계를 보이며, 모델 간의 핵심적인 상충관계를 드러낸다.

ABSTRACT

Research in the area of style transfer for text is currently bottlenecked by a lack of standard evaluation practices. This paper aims to alleviate this issue by experimentally identifying best practices with a Yelp sentiment dataset. We specify three aspects of interest (style transfer intensity, content preservation, and naturalness) and show how to obtain more reliable measures of them from human evaluation than in previous work. We propose a set of metrics for automated evaluation and demonstrate that they are more strongly correlated and in agreement with human judgment: direction-corrected Earth Mover's Distance, Word Mover's Distance on style-masked texts, and adversarial classification for the respective aspects. We also show that the three examined models exhibit tradeoffs between aspects of interest, demonstrating the importance of evaluating style transfer models at specific points of their tradeoff plots. We release software with our evaluation metrics to facilitate research.

연구 동기 및 목표

• 텍스트 스타일 전이 연구에서 표준화된 평가 관행의 부족을 해결하기 위해.
• 스타일 전이 강도, 콘텐츠 유지도, 자연스러움에 대한 더 신뢰할 수 있는 인간 평가 방법을 특정하기 위해.
• 인간 평가와 강한 상관관계를 보이는 자동 평가 지표를 개발하기 위해.
• 다양한 스타일 전이 모델 간 평가 요소 간의 상충관계를 입증하기 위해.
• 제안된 평가 지표를 구현한 오픈소스 소프트웨어를 공개하기 위해.

제안 방법

• Yelp 감성 데이터셋을 사용하여 CAAE, ARAE, DAR 세 가지 스타일 전이 모델을 평가한다.
• 스타일 단어를 식별하고 마스킹하기 위해 보수적인 스타일 어휘를 도입하여 평가 시 콘텐츠 단어 오염을 줄인다.
• 입력 및 출력 텍스트를 모두 활용한 상대적 자연스러움 점수를 도입하여 평가자 간 일관성을 향상시킨다.
• 방향성에 따른 보정이 이루어진 지구이동거리(EMD)를 제안하여 스타일 전이 강도를 방향성에 따라 보정된 방식으로 측정한다.
• 콘텐츠 유지도 평가를 위해 스타일 마스크된 텍스트에 대해 워드이동거리를 적용하여 단일 기준 설정에서의 BLEU의 한계를 회피한다.
• 자연스러움 평가를 자동화하기 위해 적대적 분류기를 사용하여 인간 평가의 상대적 점수와 강한 일치를 보였다.

실험 결과

연구 질문

• RQ1 스타일 전이에 대한 인간 평가가 연구 간 더 신뢰성 있고 일관성 있게 이루어질 수 있는 방법은 무엇인가?
• RQ2 스타일 전이 평가에서 인간 평가와 가장 강한 상관관계를 보이는 자동 평가 지표는 무엇인가?
• RQ3 다양한 스타일 전이 모델이 스타일 전이 강도, 콘텐츠 유지도, 자연스러움 간에 어느 정도 상충관계를 보이는가?
• RQ4 자동 평가 지표는 스타일 전이 연구에서 비용이 많이 드는 인간 평가를 대체하거나 보완할 수 있는가?
• RQ5 평가 지표는 다양한 스타일 전이 모델과 하이퍼파라미터 설정에서 어떻게 성능을 발휘하는가?

주요 결과

• 방향 보정된 지구이동거리가 이전의 분류기 기반 접근법보다 인간 평가와 더 강한 상관관계를 보이며, 스타일 전이 강도 평가에 유리하다.
• 스타일 마스크된 텍스트에 적용한 워드이동거리가 단일 기준 설정에 적합하고 의미적 민감도가 높아, BLEU보다 콘텐츠 유지도 측정에서 더 우수한 성능을 보였다.
• 자연스러움 평가를 위한 적대적 분류기는 인간의 상대적 점수와 강한 일치를 보이며, 자동 평가에 활용할 수 있음을 검증했다.
• 평가된 세 모델(CAAE, ARAE, DAR)은 세 평가 요소 간에 뚜렷한 상충관계를 보이며, 다각도 평가의 필요성을 강조한다.
• 모델 성능은 하이퍼파라미터 설정에 따라 달라지며, 상충관계 플롯의 교차점은 특정 설정에서 다양한 모델 간 성능이 유사함을 나타낸다.
• 제안된 평가 프레임워크, 특히 스타일 어휘와 상대적 점수 체계는 평가자 간 일관성을 향상시키고 인간 평가의 노이즈를 감소시켰다.