[논문 리뷰] Dear Sir or Madam, May I introduce the GYAFC Dataset: Corpus, Benchmarks and Metrics for Formality Style Transfer

Sudha Rao, Joel Tetreault|arXiv (Cornell University)|2018. 03. 17.

Natural Language Processing Techniques참고 문헌 30인용 수 20

한 줄 요약

이 논문은 110만 개의 비공식적-공식적 문장 쌍을 포함한 가장 큰 병렬 코퍼스인 GYAFC 데이터셋을 소개한다. 비공식적에서 공식적 스타일 전이 작업을 위한 강력한 베이스라인을 문장 기반 및 신경 기계 번역 모델을 사용해 수립하였으며, 인간 평가와의 대조를 통해 자동 평가 지표의 한계를 규명하였다. 이는 스타일 전이 작업에서의 자동 평가 지표에 있어 중대한 제약이 있음을 시사한다.

ABSTRACT

Style transfer is the task of automatically transforming a piece of text in one particular style into another. A major barrier to progress in this field has been a lack of training and evaluation datasets, as well as benchmarks and automatic metrics. In this work, we create the largest corpus for a particular stylistic transfer (formality) and show that techniques from the machine translation community can serve as strong baselines for future work. We also discuss challenges of using automatic metrics.

연구 동기 및 목표

• 공식적 스타일 전이 작업을 위한 대규모이고 고품질의 병렬 데이터셋 부족 문제를 해결하기 위해.
• 비공식적에서 공식적 스타일 전이 작업에 대해 기존 기계 번역 기법을 활용해 강력한 베이스라인을 수립하기 위해.
• 자동 평가 지표(기계 번역 및 어휘 재구성 지표 포함)의 효과성을 인간 평가와 대조하여 평가하기 위해.
• 특히 공식적에서 비공식적 방향으로의 전이에서 발생하는 평가 과제를 탐구하기 위해.
• 연구를 가속화하기 위해 공개되고 재현 가능한 자원을 제공하기 위해.

제안 방법

• Yahoo Answers에서 110만 개의 비공식적-공식적 문장 쌍을 수집하여 인간 검증을 거친 공식적 재작성으로 구성된 GYAFC 데이터셋의 구축.
• 스타일 전이 작업을 위한 기반으로 문장 기반 기계 번역(PBMT) 및 신경 기계 번역(NMT) 모델의 적응.
• 유창성과 공식적 스타일 전이 향상을 위해 복사 메커니즘과 병합 디코딩 전략을 적용한 NMT 변형 모델의 구현.
• 모델 출력을 평가하기 위해 BLEU, TERp, PINC 및 공식성/유창성/의미 유지 점수 등 자동 평가 지표의 적용.
• 엔터테인먼트 및 음악, 가족 및 관계 분야의 두 도메인에서 모델 출력의 공식성, 유창성, 의미 유지 정도에 대한 인간 평가 수행.
• 자동 평가 지표와 인간 평가 간의 상관관계 분석을 통해 평가 지표의 신뢰성 평가.

실험 결과

연구 질문

• RQ1 기존 기계 번역 모델이 공식적 스타일 전이 작업의 베이스라인으로 얼마나 효과적인가?
• RQ2 자동 평가 지표가 공식적 스타일 전이 평가에서 인간 평가와 얼마나 상관관계가 있는가?
• RQ3 왜 자동 평가 지표의 성능이 비공식적에서 공식적 방향보다 공식적에서 비공식적 방향으로 떨어지는가?
• RQ4 규칙 기반 방법이 공식적에서 비공식적 스타일 전이 방향에서 학습된 모델보다 성능이 뛰어나게 될 수 있는가?
• RQ5 비공식어 표현의 다양성이 매우 클 경우 스타일 전이 평가에서의 주요 과제는 무엇인가?

주요 결과

• GYAFC 데이터셋은 110,000개의 고품질 비공식-공식 문장 쌍을 포함하여, 공식적 스타일 전이를 위한 가장 큰 공개 코퍼스이다.
• 문장 기반 기계 번역(PBMT) 및 신경 기계 번역(NMT) 모델이 강력한 베이스라인으로 기능하며, 비공식적에서 공식적 방향에서 NMT 모델이 대부분의 평가 지표에서 PBMT를 능가한다.
• 인간 평가 기준으로 공식적에서 비공식적 방향에서 규칙 기반 모델이 모든 학습된 모델보다 공식성, 유창성, 의미 유지 정도에서 뛰어난 성능을 보였다.
• BLEU, TERp, PINC와 같은 자동 평가 지표는 인간 평가와의 상관관계가 낮으며, 특히 공식적에서 비공식적 방향에서 신뢰도가 떨어짐을 시사한다.
• 비공식적 출력에 대해 공식성 분류기가 인간 평가와 더 잘 상관관계를 보이며, 이는 비공식적에서 공식적 방향 전이의 모델 성능이 반대 방향보다 더 예측 가능함을 시사한다.
• 연구 결과, 비공식어 표현의 높은 변동성이 공식적에서 비공식적 스타일 전이에 있어서 기준 출력 기반 평가 지표의 부적합성을 드러내며, 평가 과제의 핵심 요소임을 규명하였다.