[논문 리뷰] Learning Criteria and Evaluation Metrics for Textual Transfer between Non-Parallel Corpora.

Yuanzhe Pang, Kevin Gimpel|arXiv (Cornell University)|2018. 10. 28.

Natural Language Processing Techniques참고 문헌 32인용 수 4

한 줄 요약

이 논문은 평행 데이터가 없는 텍스트 전이를 위한 다중 지표 평가 프레임워크와 관련 손실 함수를 제안한다. 주요 초점은 의미 유지, 유창성, 분류 정확도에 맞춰져 있다. 순환 일致성과 복구 기반 손실을 통해 내용 유지력을 강화하고, 스타일별 언어 모델을 활용해 유창성을 향상시킴으로써, 자동 평가 및 수동 평가 모두에서 이전 연구 대비 뚜렷한 성능 향상을 달성한다.

ABSTRACT

We consider the problem of automatically generating textual paraphrases with modified attributes or stylistic properties, focusing on the setting without parallel data (Hu et al., 2017; Shen et al., 2017). This setting poses challenges for learning and evaluation. We show that the metric of post-transfer classification accuracy is insufficient on its own, and propose additional metrics based on semantic content preservation and fluency. For reliable evaluation, all three metric categories must be taken into account. We contribute new loss functions and training strategies to address the new metrics. Semantic preservation is addressed by adding a cyclic consistency loss and a loss based on paraphrase pairs, while fluency is improved by integrating losses based on style-specific language models. Automatic and manual evaluation show large improvements over the baseline method of Shen et al. (2017). Our hope is that these losses and metrics can be general and useful tools for a range of textual transfer settings without parallel corpora.

연구 동기 및 목표

• 평행 코퍼스가 없는 텍스트 전이에 대한 신뢰할 수 있는 평가 지표의 부족을 해결하기 위해.
• 평행 데이터가 없을 경우 생성된 복구문의 의미 유지 및 유창성을 향상시키기 위해.
• 제안된 평가 지표와 일치하는 학습 전략을 개발하기 위해.
• 다양한 텍스트 전이 설정에 일반화 가능한 손실 함수와 평가 도구를 제공하기 위해.

제안 방법

• 특성 전이 중 의미 유지 보장을 위해 순환 일치성 손실을 도입한다.
• 내용 유지력을 추가로 강화하기 위해 복구 쌍 기반 손실을 활용한다.
• 생성된 텍스트의 유창성을 향상시키기 위해 스타일별 언어 모델을 통합한다.
• 전이 후 분류 정확도 목표와 이 손실들을 결합해 종단 간 학습을 수행한다.
• 의미 충실도, 유창성, 전이 정확도를 동시에 최적화하는 학습 전략을 설계한다.
• 자동 평가와 수동 평가를 모두 활용해 모든 지표 범주에서 성능을 검증한다.

실험 결과

연구 질문

• RQ1 평행 데이터가 없을 경우 텍스트 전이 시스템을 어떻게 신뢰성 있게 평가할 수 있는가?
• RQ2 기존의 지표들, 예를 들어 전이 후 분류 정확도가 의미 충실도와 유창성을 얼마나 잘 반영하는가?
• RQ3 추가적인 손실 함수가 제로샷 텍스트 전이에서 의미 유지 및 유창성을 향상시킬 수 있는가?
• RQ4 제안된 지표와 손실 함수는 자동 평가 및 인간 평가 모두에서 기준 방법과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 의미 유지, 유창성, 분류 정확도를 통합한 제안된 평가 프레임워크는 정확도만 고려하는 것보다 더 종합적인 평가를 가능하게 한다.
• 순환 일치성과 복구 기반 손실의 통합은 의미 유지력 향상에 뚜렷한 기여를 한다.
• 스타일별 언어 모델 손실은 더 유창한 생성된 복구문을 도출한다.
• 자동 평가 결과, Shen 등(2017)의 기준 방법 대비 측정 가능한 성능 향상이 확인되었다.
• 수동 평가 결과, 모든 세 가지 지표 차원에서 생성된 복구문의 품질이 높게 평가되었다.