[논문 리뷰] Style is NOT a single variable: Case Studies for Cross-Style Language Understanding

Dongyeop Kang, Eduard Hovy|arXiv (Cornell University)|2019. 11. 09.

Natural Language Processing Techniques참고 문헌 55인용 수 4

한 줄 요약

이 논문은 구술적, 정서적, 개인적, 상호작용적 네 가지 이론적 그룹에 속하는 15가지 스타일을 결합한 xSLUE라는 벤치마크 코퍼스를 소개한다. 이는 스타일 간 상호작용을 고려한 언어 이해를 위한 것이다. 공동으로 분류기 학습이 성능 향상에 기여하며, 비판적 스타일 간 상호의존성(예: 무례함과 모욕성)이 뚜렷하게 드러나고, 상반된 스타일 조합(예: 긍정적 정서와 무례함)은 더 적절하지 않은 텍스트 생성을 유도함을 보여준다.

ABSTRACT

Every natural text is written in some style. Style is formed by a complex combination of different stylistic factors, including formality markers, emotions, metaphors, etc. One cannot form a complete understanding of a text without considering these factors. The factors combine and co-vary in complex ways to form styles. Studying the nature of the co-varying combinations sheds light on stylistic language in general, sometimes called cross-style language understanding. This paper provides the benchmark corpus (xSLUE) that combines existing datasets and collects a new one for sentence-level cross-style language understanding and evaluation. The benchmark contains text in 15 different styles under the proposed four theoretical groupings: figurative, personal, affective, and interpersonal groups. For valid evaluation, we collect an additional diagnostic set by annotating all 15 styles on the same text. Using xSLUE, we propose three interesting cross-style applications in classification, correlation, and generation. First, our proposed cross-style classifier trained with multiple styles together helps improve overall classification performance against individually-trained style classifiers. Second, our study shows that some styles are highly dependent on each other in human-written text. Finally, we find that combinations of some contradictive styles likely generate stylistically less appropriate text. We believe our benchmark and case studies help explore interesting future directions for cross-style research. The preprocessed datasets and code are publicly available.

연구 동기 및 목표

• written text 내에서 다수의 스타일적 요소가 동시에 변화하는 방식을 포괄적으로 측정할 수 있는 cross-style language understanding을 위한 종합적 벤치마크를 개발하는 것.
• 이전 연구가 스타일 간 의존성을 독립적으로 또는 좁은 차원에서만 다루는 한계를 보완하기 위해, 대규모로 다중 스타일 분석을 가능하게 하는 것.
• 통합된 다중 스타일 평가 프레임워크를 사용하여, 공동 스타일 모델링이 분류, 상관관계, 생성 작업에 미치는 영향을 평가하는 것.
• 사람이 작성한 텍스트에서 관찰된 스타일 간 상호의존성이 모델이 생성한 텍스트로도 전이되는지, 그리고 상반된 스타일 조합이 생성 품질을 떨어뜨리는지 조사하는 것.
• 미래의 cross-style NLP 응용 연구를 지원하기 위해 공개된 데이터셋과 코드를 제공하는 것.

제안 방법

• 기존 데이터셋에서 15가지의 구체적인 스타일을 취합하고 새로운 스타일 하나를 추가하여, 구술적, 정서적, 개인적, 상호작용적 네 가지 이론적 그룹으로 정리하였다.
• 다양한 스타일의 변동성을 정확하게 평가할 수 있도록, 동일한 문장 집합에 대해 모든 15가지 스타일을 레이블링한 진단용 다중 스타일 주석 집합을 구축하였다.
• 다양한 스타일을 동시에 학습하는 공동 cross-style 분류기를 제안하여, 개별적으로 학습된 분류기보다 성능 향상을 이룩하였다.
• 사람이 주석을 붙인 데이터를 활용해 스타일 간 통계적으로 유의미한 상호의존성을 규명하기 위한 스타일 상관관계 분석을 수행하였다.
• 스타일 확률의 곱을 이용해 다중 스타일 레이블을 조건으로 삼는 조건부 스타일 텍스트 생성기를 개발하였다: $\mathrm{P}(x|s_1..s_k) \propto \mathrm{P}(x) \cdot \mathrm{P}(s_1|x)\cdots\mathrm{P}(s_k|x)$.
• 스타일적 적절성과 일관성을 평가하기 위해 인간 평가를 실시하였으며, 리커트 척도 평가와 스타일 매트릭스에서의 상관관계 점수를 활용하였다.

실험 결과

연구 질문

• RQ1 다양한 스타일을 공동으로 학습하는 것이 개별 스타일 학습 대비 분류 성능에 어떻게 기여하는가?
• RQ2 사람이 작성한 텍스트에서 서로 다른 스타일 간 통계적으로 유의미한 상호의존성은 무엇인가?
• RQ3 상반된 스타일 조합(예: 긍정적 정서와 무례함)은 생성된 텍스트의 스타일적 적절성에 어느 정도 악영향을 미치는가?
• RQ4 스타일 분류기의 성능은 스타일 제어 텍스트 생성 품질과 어떻게 관련되어 있는가?
• RQ5 사람이 작성한 텍스트에서 관찰된 상관관계가 모델이 생성한 텍스트에서도 재현되는가? 그리고 자연스러운 스타일 제약을 반영하는가?

주요 결과

• 공동으로 학습된 cross-style 분류기는 개별적으로 학습된 분류기보다 더 높은 성능을 보였으며, 스타일의 동시 변화를 모델링하는 데서 유의미한 이점이 있음을 입증하였다.
• 사람이 작성한 텍스트에서 뚜렷한 스타일 간 상호의존성이 발견되었으며, 특히 무례함과 모욕성 간 강한 상관관계가 있었다(p < 0.01).
• 인간 평가 결과, 상반된 스타일 조합(예: 긍정적 정서와 무례함)은 더 낮은 스타일적 적절성 점수를 보였다(비모순 쌍 대비 평균 점수 2.45 vs. 3.11).
• 생성된 텍스트의 스타일적 적절성 점수는 사람의 텍스트에서 관찰된 상관관계 점수와 매우 유사하게 나타나, 모델이 자연스러운 스타일 제약을 학습하고 있음을 시사하였다.
• 분류기 학습 진행률(완료 비율로 측정)이 증가함에 따라 생성된 텍스트의 스타일적 적절성과 일관성도 향상되었으며, 이는 분류 성능과 생성 품질 간의 강력한 연관성을 확인시켰다.
• 부정적 레이블(예: 무례함, 모욕성)을 사용해 생성된 텍스트는 긍정적 또는 사실적 레이블보다 스타일적 적절성이 낮게 나타났으며, 이는 특정 스타일 조합을 생성하는 데 내재된 과제를 시사한다.