[논문 리뷰] SHAPED: Shared-Private Encoder-Decoder for Text Style Adaptation

Ye Zhang, Nan Ding외 1명|arXiv (Cornell University)|2018. 04. 11.

Topic Modeling참고 문헌 35인용 수 5

한 줄 요약

이 논문은 제목 생성에서 제어 가능한 텍스트 스타일 적응을 가능하게 하기 위해 공유(일반적인) 언어 패턴과 비공유(스타일별로 특화된) 표현을 함께 학습하는 신경망 인코더-디코더 아키텍처인 SHAPED 및 Mix-SHAPED를 제안한다. 공유 및 비공유 인코더/디코더를 스타일 분류기와 결합함으로써, 특히 사전에 보지 못한 스타일을 실시간으로 적응시키는 데서 평균 스타일 및 단일 스타일 기반 모델보다 뛰어난 성능을 발휘한다.

ABSTRACT

Supervised training of abstractive language generation models results in learning conditional probabilities over language sequences based on the supervised training signal. When the training signal contains a variety of writing styles, such models may end up learning an 'average' style that is directly influenced by the training data make-up and cannot be controlled by the needs of an application. We describe a family of model architectures capable of capturing both generic language characteristics via shared model parameters, as well as particular style characteristics via private model parameters. Such models are able to generate language according to a specific learned style, while still taking advantage of their power to model generic language phenomena. Furthermore, we describe an extension that uses a mixture of output distributions from all learned styles to perform on-the fly style adaptation based on the textual input alone. Experimentally, we find that the proposed models consistently outperform models that encapsulate single-style or average-style language generation capabilities.

연구 동기 및 목표

• 혼합된 훈련 데이터 분포로 인해 평균 스타일을 학습하는 표준 인코더-디코더 모델의 한계를 해결하기 위해.
• 각 스타일별로 별도의 모델을 훈련시키는 데서 비효율성과 과소적합 문제를 해결하기 위해 스타일 간 일반적인 언어 지식을 공유함으로써.
• 학습된 스타일 분류기를 통해 미리보지 못한 또는 도메인 외 스타일에 대해 실시간으로 스타일 적응을 가능하게 하기 위해 디코더 출력의 믹스처를 활용함으로써.
• 일반적인 언어 모델링과 스타일별 패턴을 분리함으로써 개괄적 텍스트 생성 품질을 향상시키기 위해.
• 분류기가 학습한 스타일 정보가 콘텐츠 모델링을 초월해 생성 성능에 의미 있는 기여를 한다는 것을 입증하기 위해.

제안 방법

• 공유 및 비공유 파라미터를 갖는 공유-비공유 인코더-디코더 아키텍처를 설계하여, 공유 파라미터는 일반적인 언어를 모델링하고, 비공유 파라미터는 스타일별 특성을 모델링하도록 한다.
• 입력의 소스 분포(예: 출판사)를 예측하기 위한 스타일 분류 손실과 함께 순서 생성 손실을 함께 최적화하여 모델을 종단 간(end-to-end)으로 훈련시킨다.
• 추론 시, 알려진 스타일에 해당하는 공유 모델과 비공유 모델을 사용하여 높은 정확도의 스타일별 생성을 수행한다(Shaped).
• 알 수 없는 또는 미리보지 못한 스타일의 경우, 스타일 분류기의 예측 확률에 따라 모든 비공유 디코더 출력을 가중 평균하는 믹스처-오브-익스퍼트 방식을 적용한다(Mix-SHAPED).
• 각 입력이 각 훈련 스타일 분포에 속할 확률을 추정하기 위해 분류기 헤드를 사용하여 디코딩 중 동적 스타일 선택을 가능하게 한다.
• ROUGE-L과 인간 평가를 적용하여 생성 품질과 스타일 일치도를 측정하고, 실체 마스킹를 통한 분리 분석(ablation study)를 통해 콘텐츠 영향을 분리한다.

실험 결과

연구 질문

• RQ1 공유-비공유 아키텍처는 일반적인 언어 모델링과 스타일별 패턴을 분리함으로써 약간의 텍스트 생성 품질을 향상시킬 수 있는가?
• RQ2 각 스타일에 대해 비공유 모델 파라미터를 통합하면, 평균화된 또는 단일 스타일 데이터로 훈련된 모델보다 성능이 향상되는가?
• RQ3 입력 텍스트만으로 학습된 분류기가 소스 스타일 분포를 정확히 예측할 수 있는가? 이를 통해 실시간으로 미리보지 못한 스타일에 적응할 수 있는가?
• RQ4 성능 향상의 정도가 콘텐츠 모델링이 아닌 스타일 모델링 덕분인가? 특히 콘텐츠 신호를 제거했을 때 어떻게 되는가?
• RQ5 외부 도메인 출판사로 일반화할 때 믹스처-오브-익스퍼트 디코딩 전략(Mix-SHAPED)은 고정 스타일 모델보다 어떻게 비교되는가?

주요 결과

• SHAPED 모델은 공유 전용 기준 모델(S 모델)과 개별 비공유 모델(SP 모델)을 크게 능가하여, 내부 도메인 테스트 세트에서 61.70 ROUGE-L, 외부 도메인 세트에서 60.75 ROUGE-L을 기록했다.
• Mix-SHAPED 모델은 CNA와 LTW와 같은 사전에 보지 못한 출판사에서 높은 스타일 분류 정확도(80대 후반)를 달성하여 실시간 스타일 적응이 효과적으로 이루어졌음을 입증했다.
• 이름이 있는 실체를 태그로 교체하여 콘텐츠 신호를 억제한 상황에서도 SP 및 M-SP 모델은 S 모델(61.70 대비 60.20 ROUGE-L)을 여전히 능가했으며, 이는 스타일 모델링이 성능에 독립적으로 기여한다는 것을 증명한다.
• 분류기는 의미 있는 스타일 표현을 학습한다: CNA는 XIN에 가장 가까운 것으로 예측되고, LTW는 NYT에 가장 가까운 것으로 예측되며, 수동태 구조와 보도 기사 형식 등 알려진 스타일 패턴과 일치한다.
• 질적 사례 분석에서 Mix-SHAPED 모델은 CNA와 XIN 기사에서 흔히 볼 수 있는 동사 형태와 전치사 구조와 같은 스타일 특징을 정확히 포착하는 반면, S 모델은 종종 이를 잘못 표현한다.
• Mix-SHAPED와 공유 전용 기준 모델 간의 성능 격차는 외부 도메인 출판사에서 가장 두드러지며, 동적 스타일 믹스처를 통해 새로운 스타일로의 일반화 능력을 확인한다.