[논문 리뷰] Stable Style Transformer: Delete and Generate Approach with Encoder-Decoder for Text Style Transfer

Joosung Lee|arXiv (Cornell University)|2020. 05. 25.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 논문은 안정적인 성능을 보이는 두 단계 텍스트 스타일 전이 방법인 안정적 스타일 트랜스포머(SST)를 제안한다. 첫 번째 단계에서는 분류기 기반 접근 방식을 사용해 스타일에 의존하는 속성 마커를 삭제하고, 두 번째 단계에서는 트랜스포머 인코더-디코더를 통해 스타일 전이 문장을 생성한다. 이 방법은 자동 평가 지표인 내용, 유창성, 스타일 정확도, 의미 유사도 전반에서 안정적인 성능을 달성하며, 인간 평가에서 불안정한 기준 모델들을 능가하여 실세계 적용에 적합하다.

ABSTRACT

Text style transfer is the task that generates a sentence by preserving the content of the input sentence and transferring the style. Most existing studies are progressing on non-parallel datasets because parallel datasets are limited and hard to construct. In this work, we introduce a method that follows two stages in non-parallel datasets. The first stage is to delete attribute markers of a sentence directly through a classifier. The second stage is to generate a transferred sentence by combining the content tokens and the target style. We experiment on two benchmark datasets and evaluate context, style, fluency, and semantic. It is difficult to select the best system using only these automatic metrics, but it is possible to select stable systems. We consider only robust systems in all automatic evaluation metrics to be the minimum conditions that can be used in real applications. Many previous systems are difficult to use in certain situations because performance is significantly lower in several evaluation metrics. However, our system is stable in all automatic evaluation metrics and has results comparable to other models. Also, we compare the performance results of our system and the unstable system through human evaluation. Our code and data are available at the link (https://github.com/rungjoo/Stable-Style-Transformer).

연구 동기 및 목표

• 기존 텍스트 스타일 전이 모델이 자동 평가 지표에서 불안정한 성능을 보이는 문제를 해결하기 위해.
• 대부분의 모델이 적대적 훈련이나 분리된 잠재 표현에 의존하지 않고 스타일과 내용을 분리하는 방법을 개발하기 위해.
• 분류기 확률 변화를 통한 모델에 종속되지 않는 직관적인 속성 마커 삭제를 가능하게 하기 위해.
• 다양한 평가 지표에서 안정적인 성능을 확보하여 실세계 응용에 적합한 시스템을 만들기 위해.
• 생성된 문장에서의 스타일 제어를 향상시키기 위해 잠재 공간 보행을 탐색하기 위해.

제안 방법

• 이중 단계 프레임워크: 먼저 사전 훈련된 분류기가 마스크된 토큰에서 예측 확률의 급격한 변화를 기반으로 스타일 속성 마커를 식별하고 삭제한다.
• 이 방법은 모델에 종속되지 않으며, 주의 히트맵이나 빈도 기반 히وري스틱이 필요하지 않다.
• 삭제된 문장의 내용 토큰과 대상 스타일 임베딩을 조합하여 트랜스포머 기반 인코더-디코더를 사용해 전이된 문장을 생성한다.
• 내용 유지 보존을 떨어뜨리지 않으면서 스타일 전이 정확도를 향상시키기 위해 스타일 손실을 사용해 모델을 훈련한다.
• 하이퍼파라미터 α와 β는 내용 유지 보존과 스타일 전이 사이의 트레이드오프를 제어하며, 조정 가능한 성능을 가능하게 한다.
• 스타일 벡터 간의 보간을 통해 잠재 공간 보행을 탐색하여 중간 스타일 특성을 가진 문장을 생성한다.

실험 결과

연구 질문

• RQ1 비적대적, 비분리 잠재 표현 기반 방법이 텍스트 스타일 전이에서 다수의 자동 평가 지표에서 안정적인 성능을 달성할 수 있는가?
• RQ2 빈도 기반 또는 주의 가중치 기반 방법과 비교할 때 분류기 기반 속성 마커 삭제 방식은 안정성과 제어력 측면에서 어떻게 다른가?
• RQ3 스타일 벡터 공간에서의 잠재 공간 보행을 통해 스타일 제어는 어느 정도 향상될 수 있는가?
• RQ4 하이퍼파라미터 α와 β는 내용 유지 보존과 스타일 전이 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ5 안정적인 자동 평가 결과는 텍스트 스타일 전이에서 인간의 선호도를 신뢰성 있게 예측할 수 있는가?

주요 결과

• SST는 야후(Yelp) 데이터셋에서 모든 자동 평가 지표에서 안정적인 성능을 보였다: 내용(G-BLEU: 19.11), 유창성(t-PPL: 306.65), 스타일 정확도(82.2%), 의미 유사도(BERTscore: 89.96).
• 스타일 손실의 포함으로 스타일 정확도가 4%p 향상되었고, 데이터 유창성도 향상되었지만, G-BLEU는 약간 감소하여 최적화 과정에서 트레이드오프가 존재함을 시사한다.
• 인간 평가 결과에서 SST는 불안정한 기준 모델보다 더 신뢰할 수 있으며, 다양한 지표에서 일관된 선호도를 보였다.
• 모델의 성능은 야후(Yelp)와 아마존(Amazon) 데이터셋 모두에서 뛰어나, 다양한 도메인과 스타일 전이 방향으로의 일반화 능력을 입증했다.
• 잠재 공간 보행 결과는 스타일 벡터 보간을 통해 중간 스타일 특성을 가진 문장을 생성할 수 있음을 보여주었지만, 항상 중립적인 스타일은 아니며, 벡터 공간 정렬 개선 여지가 있음을 시사한다.
• 분류기 기반 삭제 방법은 사전 정의된 사전이나 주의 메커니즘 없이도 직관적이고 모델에 종속되지 않는 속성 마커 식별이 가능하다.