[논문 리뷰] XL-Editor: Post-editing Sentences with XLNet

Yong-Siang Shih, Wei-Cheng Chang외 1명|arXiv (Cornell University)|2019. 10. 19.

Topic Modeling참고 문헌 27인용 수 7

한 줄 요약

XL-Editor는 문장 수정을 위해 변수 길이 삽입 확률 추정을 통해 XLNet의 성능을 향상시키는 혁신적인 훈련 프레임워크이다. 이는 삽입, 삭제, 교체 작업을 효율적으로 수행할 수 있게 하며, BLEU 점수의 최소한의 감소로 스타일 전이 정확도를 크게 향상시킨다. 이는 표준 순차-순차 모델을 넘어서 광범위하게 적용 가능한 잠재력을 보여준다.

ABSTRACT

While neural sequence generation models achieve initial success for many NLP applications, the canonical decoding procedure with left-to-right generation order (i.e., autoregressive) in one-pass can not reflect the true nature of human revising a sentence to obtain a refined result. In this work, we propose XL-Editor, a novel training framework that enables state-of-the-art generalized autoregressive pretraining methods, XLNet specifically, to revise a given sentence by the variable-length insertion probability. Concretely, XL-Editor can (1) estimate the probability of inserting a variable-length sequence into a specific position of a given sentence; (2) execute post-editing operations such as insertion, deletion, and replacement based on the estimated variable-length insertion probability; (3) complement existing sequence-to-sequence models to refine the generated sequences. Empirically, we first demonstrate better post-editing capabilities of XL-Editor over XLNet on the text insertion and deletion tasks, which validates the effectiveness of our proposed framework. Furthermore, we extend XL-Editor to the unpaired text style transfer task, where transferring the target style onto a given sentence can be naturally viewed as post-editing the sentence into the target style. XL-Editor achieves significant improvement in style transfer accuracy and also maintains coherent semantic of the original sentence, showing the broad applicability of our method.

연구 동기 및 목표

• 자기회귀 모델인 XLNet이 비선형적이고 다중 위치 편집을 포함한 인간처럼 문장을 수정하는 데에 한계가 있다는 점을 해결하기 위해.
• 표준 자기회귀 모델에서의 고정 길이 시퀀스 가정을 넘어서 XLNet이 변수 길이 삽입 확률을 효율적으로 추정할 수 있도록 하기 위해.
• 생성 기능을 넘어서 삽입, 삭제, 교체와 같은 문장 수정 작업을 포함하여 텍스트 품질을 향상시키기 위해 XLNet의 기능을 확장하기 위해.
• 스타일 전이를 문장 수정으로 재정의함으로써, 쌍이 없는 텍스트 스타일 전이에서 문장 수정의 효과성을 입증하기 위해.
• 기존 순차-순차 모델을 보완하기 위해, 대상 스타일 임베딩을 조건으로 하여 정교한, 맥락 인식 편집을 통해 그 출력을 개선하기 위해.

제안 방법

• 좌우 맥락 시퀀스 사이의 변수 길이 삽입을 모델링하기 위해 삽입 기반 상대적 위치 인코딩 기법을 도입한다.
• 좌우 맥락을 모두 사용하여 자기회귀 인수 분해를 통해 어떤 위치에 서브시퀀스를 삽입할 확률을 추정한다.
• 최적의 편집 지점과 시퀀스를 예측함으로써 삽입, 삭제, 교체의 세 가지 문장 수정 작업을 지원한다.
• 사전 학습된 XLNet 가중치를 활용하고, 편집 시퀀스에 대해 최대 우도 추정을 사용하여 모델을 미세 조정한다.
• 목표 스타일 임베딩을 조건으로 하여 최신 스타일 전이 모델의 출력을 개선하기 위해 모델을 적용한다.
• 모델이 소스 스타일과 타겟 스타일 입력을 기반으로 편집을 생성하도록 훈련하는 조건부 확률 추정 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 XLNet은 문장 수정을 위해 변수 길이 삽입 확률 추정을 효과적으로 확장시킬 수 있는가?
• RQ2 삽입, 삭제, 교체와 같은 문장 수정 작업은 표준 자기회귀 생성 대비 생성 시퀀스의 품질을 향상시킬 수 있는가?
• RQ3 제안된 XL-Editor 프레임워크는 의미 일관성을 유지하면서도 쌍이 없는 텍스트 스타일 전이에서 성능을 향상시킬 수 있는가?
• RQ4 XL-Editor는 유창성(bleu)의 최소한의 감소로 기존 SOTA 모델의 출력을 개선하면서 스타일 정확도를 크게 향상시킬 수 있는가?
• RQ5 삽입 기반 상대적 위치 인코딩은 이전의 삽입 기반 모델 대비 효율성과 정확도를 어떻게 향상시키는가?

주요 결과

• Yelp 데이터셋에서 XL-Editor는 98.8%의 스타일 정확도와 72.9 BLEU 점수를 기록했으며, 최고의 베이스라인인 PTO가 후처리 후 95.7% 스타일 정확도와 28.75 BLEU를 기록한 것에 비해 뛰어난 성능을 보였다.
• Amazon 데이터셋에서는 XL-Editor가 스타일 정확도를 PTO의 40.2%에서 43.2%로 향상시키며, 41.13의 높은 BLEU 점수를 유지하여 강력한 콘텐츠 보존 능력을 입증했다.
• Yelp에서 G-점수(Geometric mean of BLEU and style accuracy)는 49.2로 평가된 모든 시스템 중에서 가장 높았고, Amazon에서는 42.2로 동일한 경향을 보였다.
• qualitative 예시에서 XL-Editor는 'overpriced'를 'reasonably priced'로 교체하거나 중복된 어휘를 제거하는 등 미세한 오류를 성공적으로 수정했다.
• 유창성 손실을 최소화하면서도 스타일 정확도가 크게 향상되어, 유창성을 훼손하지 않으면서 효과적인 개선이 가능함을 보여주었다.
• UMT와 PTO를 포함한 여러 SOTA 모델의 출력을 두 데이터셋에서 모두 향상시킴으로써, 프레임워크의 광범위한 적용 가능성을 입증했다.