[論文レビュー] Style is NOT a single variable: Case Studies for Cross-Style Language Understanding

Dongyeop Kang, Eduard Hovy|arXiv (Cornell University)|Nov 9, 2019

Natural Language Processing Techniques参考文献 55被引用数 4

ひとこと要約

本稿では、比喩的、感情的、個人的、対人的という4つの理論的グループに分類される15のスタイルを統合したxSLUEというベンチマークコーパスを紹介する。共同で分類器を訓練することで性能が向上し、例えば無礼さと攻撃的さの間には顕著なスタイルの相関関係が存在することが明らかになった。また、正の感情と無礼さといった矛盾するスタイルの組み合わせは、スタイル的に適切なテキスト生成を損なうことが示された。

ABSTRACT

Every natural text is written in some style. Style is formed by a complex combination of different stylistic factors, including formality markers, emotions, metaphors, etc. One cannot form a complete understanding of a text without considering these factors. The factors combine and co-vary in complex ways to form styles. Studying the nature of the co-varying combinations sheds light on stylistic language in general, sometimes called cross-style language understanding. This paper provides the benchmark corpus (xSLUE) that combines existing datasets and collects a new one for sentence-level cross-style language understanding and evaluation. The benchmark contains text in 15 different styles under the proposed four theoretical groupings: figurative, personal, affective, and interpersonal groups. For valid evaluation, we collect an additional diagnostic set by annotating all 15 styles on the same text. Using xSLUE, we propose three interesting cross-style applications in classification, correlation, and generation. First, our proposed cross-style classifier trained with multiple styles together helps improve overall classification performance against individually-trained style classifiers. Second, our study shows that some styles are highly dependent on each other in human-written text. Finally, we find that combinations of some contradictive styles likely generate stylistically less appropriate text. We believe our benchmark and case studies help explore interesting future directions for cross-style research. The preprocessed datasets and code are publicly available.

研究の動機と目的

• 書かれた文章における複数のスタイル的要因の共変動を捉える包括的なベンチマークを構築すること。
• 従来の研究がスタイルの依存関係を孤立してまたは狭い次元で研究していたという限界を克服し、スケールの大きなマルチスタイル分析を可能にすること。
• 統一されたマルチスタイル評価フレームワークを用いて、統合的スタイルモデリングが分類、相関、生成タスクに与える影響を評価すること。
• 人間が書いた文章におけるスタイルの依存関係が、モデルが生成する文章にも反映されるかどうか、また矛盾するスタイルの組み合わせが生成品質を低下させるかどうかを調査すること。
• 今後のクロススタイルNLPアプリケーション分野の研究を支援するため、公開可能なデータセットとコードを提供すること。

提案手法

• 既存のデータセットから15の異なるスタイルを収集し、新たに1つを追加。これらを比喩的、感情的、個人的、対人的という4つの理論的グループに分類した。
• 複数スタイルの変動を適切に評価できるように、同じ文のセットに対して15のスタイルすべてをラベル付けする診断的マルチスタイルアノテーションセットを構築した。
• 複数のスタイルを同時に学習する共同クロススタイル分類器を提案。個別に訓練された分類器よりも性能が向上した。
• 人間によるアノテーションデータを用いてスタイル相関分析を実施し、文章中のスタイル間で統計的に有意な相関関係を同定した。
• スタイル確率の積を用いて複数のスタイルラベルに条件づけたスタイル制御生成モデルを構築した：$\mathrm{P}(x|s_1..s_k) \propto \mathrm{P}(x) \cdot \mathrm{P}(s_1|x)\cdots\mathrm{P}(s_k|x)$。
• リッカート尺度による判断とスタイル行列からの相関スコアを用いて、生成されたテキストのスタイル的妥当性と一貫性について人間による評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 複数のスタイルを共同で訓練することで、個別に訓練した場合と比較して分類性能がどのように向上するか？
• RQ2 人間が書いた文章における異なるスタイルの間で、統計的に有意な相関関係は何か？
• RQ3 正の感情と無礼さといった矛盾するスタイルの組み合わせは、生成テキストのスタイル的妥当性をどの程度損なうか？
• RQ4 スタイル分類器の性能とスタイル制御テキスト生成の品質の間には、どのような相関関係があるか？
• RQ5 人間が書いた文章で観察された相関関係は、モデルが生成する文章でも再現可能か？また、それらは自然なスタイル制約を反映しているか？

主な発見

• 共同で訓練されたクロススタイル分類器は、個別に訓練された分類器よりも優れた性能を示し、スタイルの共変動をモデル化することの利点を実証した。
• 人間が書いた文章において、無礼さと攻撃的さの間には顕著な相関関係が存在した（p < 0.01）。
• 人間による評価では、正の感情と無礼さといった矛盾するスタイルの組み合わせは、スタイル的妥当性が低かった（非矛盾ペアと比較して平均スコアは2.45 vs. 3.11）。
• 生成されたテキストのスタイル的妥当性スコアは、人間が書いた文章で観察された相関スコアと密接に一致しており、モデルが自然なスタイル制約を学習していることを示した。
• 分類器の訓練進捗度（完了率で測定）が向上するにつれて、生成テキストのスタイル的妥当性と一貫性も向上した。分類品質と生成品質の強い関連性を確認した。
• 否定的ラベル（例：無礼さ、攻撃的さ）を用いて生成されたテキストは、肯定的または事実的ラベルを用いた場合よりもスタイル的妥当性が低かった。これは、特定のスタイルの組み合わせを生成する際の本質的な課題を示唆している。