[논문 리뷰] Non-Parallel Text Style Transfer with Self-Parallel Supervision

Ruibo Liu, Chong Gao외 3명|arXiv (Cornell University)|2022. 04. 18.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 시각적 구조 그래프를 통해 비병렬 데이터셋에서 대략적인 병렬 문장 쌍을 추출하고, 대규모 언어 모델을 미세조정함으로써 비병렬 데이터셋에서의 자기 병렬 감독을 활용하는 텍스트 스타일 전이 프레임워크인 LaMer을 제안한다. 이는 감성, 형식성, 그리고 새로운 政治적 입장 전이 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 방법에 비해 스타일 전이 정확도, 콘텐츠 유지도, 유창성에서 뚜렷한 향상을 이룬다.

ABSTRACT

The performance of existing text style transfer models is severely limited by the non-parallel datasets on which the models are trained. In non-parallel datasets, no direct mapping exists between sentences of the source and target style; the style transfer models thus only receive weak supervision of the target sentences during training, which often leads the model to discard too much style-independent information, or utterly fail to transfer the style. In this work, we propose LaMer, a novel text style transfer framework based on large-scale language models. LaMer first mines the roughly parallel expressions in the non-parallel datasets with scene graphs, and then employs MLE training, followed by imitation learning refinement, to leverage the intrinsic parallelism within the data. On two benchmark tasks (sentiment & formality transfer) and a newly proposed challenging task (political stance transfer), our model achieves qualitative advances in transfer accuracy, content preservation, and fluency. Further empirical and human evaluations demonstrate that our model not only makes training more efficient, but also generates more readable and diverse expressions than previous models.

연구 동기 및 목표

• 기존 텍스트 스타일 전이 모델이 비병렬 데이터셋에서 약한 감독에 의존하는 데서 비롯되는 한계(빈약한 스타일 전이 및 콘텐츠 손실)를 해결하기 위해.
• 비병렬 데이터셋 내 임베딩된 병렬성 특성을 자동으로 식별함으로써 시각적 구조 그래프 기반의 정렬을 통해 대략적인 병렬 문장 쌍을 식별함으로써 내재된 병렬성을 활용하기 위해.
• 채굴된 병렬 데이터 기반으로 최대가능도 추정(MLE) 사전학습과 암시적 학습 정련을 조합함으로써 학습 효율성과 생성 품질을 향상시키기 위해.
• 새로운 벤치마크 작업인 정치적 입장 전이를 도입하고, 이를 평가하기 위한 데이터셋을 공개하여 더 추상적이고 미묘한 스타일 전이 작업에 대한 평가를 가능하게 하기 위해.
• 자기지도 학습을 통한 병렬 데이터 채굴이 다양한 텍스트 스타일 전이 작업 전반에서 성능 향상에 크게 기여할 수 있음을 입증하기 위해.

제안 방법

• 문장 임베딩과 시각적 구조 그래프를 사용하여 비병렬 데이터셋에서 소스 스타일과 타겟 스타일 간에 의미적으로 정렬된 표현을 식별함으로써 대략적인 병렬 문장 쌍을 채굴하는 방법.
• 소스 스타일 입력에서 타겟 스타일 문장을 생성할 확률을 최대화하기 위해 텍스트-투-텍스트 언어 모델(BART)을 최대가능도 추정(MLE)을 통해 미세조정하는 방법.
• 대비 손실을 활용한 강화학습을 적용하여, 고품질의 스타일 전이에 보상하고 열악한 결과에는 벌을 주는 방식으로 생성을 정련하는 방법.
• 시각적 구조 그래프를 사용해 구조적 및 의미적 관계를 포착함으로써, 표면적 토큰이 다를 경우에도 강력한 정렬을 가능하게 하는 방법.
• 채굴된 병렬 쌍에서 유도된 자기지도 감독을 통합하여, 비병렬 데이터셋에서 무작위 쌍보다 더 강력한 감독을 제공하는 방법.
• 다단계 학습 파이프라인 적용: (1) 시각적 구조 그래프 기반 채굴, (2) MLE 사전학습, (3) 대비 손실을 활용한 암시적 학습 정련.

실험 결과

연구 질문

• RQ1 채굴된 문장 쌍에서 유도된 자기 병렬 감독이 비병렬 데이터셋에서의 텍스트 스타일 전이 성능 향상에 기여하는가?
• RQ2 LaMer는 기존의 비지도 TST 방법에 비해 스타일 전이 정확도, 콘텐츠 유지도, 유창성 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법은 정치적 입장 전이와 같은 어려운 추상적 스타일 전이 작업에 일반화 가능한가?
• RQ4 병렬 표현을 채굴하기 위해 시각적 구조 그래프를 사용하는 것이 더 신뢰성 있고 다양한 스타일 전이 출력을 이끌어내는가?
• RQ5 자기지도 기반 병렬 데이터 채굴이 학습 효율성과 모델 일반화 능력 향상에 어느 정도 영향을 미치는가?

주요 결과

• 감성 전이 작업에서 LaMer는 스타일 5.45/7, 콘텐츠 4.91/7, 읽기 쉬움 5.43/7의 최고 인간 평가 점수를 기록하여 모든 작업에서 최고 성능을 보였다.
• 형식성 전이 작업에서 LaMer는 스타일 5.50/7, 콘텐츠 5.45/7, 읽기 쉬움 5.39/7의 점수를 기록하며 모든 기준선 모델을 압도했다.
• 새로 도입된 정치적 입장 전이 작업에서 LaMer는 GPT-2-large를 사용해 퍼플렉서티 32.3을 기록했으며, 경쟁 모델인 CAE(1869.0)와 Style Transformer(350.0)에 비해 뚜렷한 우수성을 보였다.
• 문장 임베딩을 사용할 경우 퍼플렉서티를 11.4로 낮추었고, 자기 주의 감독을 사용할 경우 13.3로 낮추어, 더 나은 유창성과 생성 품질을 입증했다.
• 인간 평가 결과, 이전 모델보다 더 읽기 쉬우며 다양한 표현을 생성하는 것으로 확인되었으며, 모든 평가 차원에서 높은 평가를 받았다.
• 모델는 강력한 일반화 능력을 보이며 기존의 기준 벤치마크와 새로운 도전적인 정치적 입장 전이 작업 모두에서 최신 기술 수준 성능을 달성했다.