[論文レビュー] xSLUE: A Benchmark and Analysis Platform for Cross-Style Language Understanding and Evaluation

Dongyeop Kang, Eduard Hovy|arXiv (Cornell University)|Nov 9, 2019

Hate Speech and Cyberbullying Detection参考文献 11被引用数 14

ひとこと要約

本稿は、15のスタイルと23の分類タスクを備えた、クロススタイル言語理解のためのベンチマークコーパスおよびオンラインプラットフォームxSLUEを紹介する。強力なスタイル的相関関係（例：不遜さと攻撃的表現の間）が明らかになり、ドメイン固有のスタイル的多様性が強調され、共有表現学習や今後のクロススタイルモデリングのためのツールが提供される。

ABSTRACT

Every natural text is written in some style. The style is formed by a complex combination of different stylistic factors, including formality markers, emotions, metaphors, etc. Some factors implicitly reflect the author's personality, while others are explicitly controlled by the author's choices in order to achieve some personal or social goal. One cannot form a complete understanding of a text and its author without considering these factors. The factors combine and co-vary in complex ways to form styles. Studying the nature of the covarying combinations sheds light on stylistic language in general, sometimes called cross-style language understanding. This paper provides a benchmark corpus (xSLUE) with an online platform (this http URL) for cross-style language understanding and evaluation. The benchmark contains text in 15 different styles and 23 classification tasks. For each task, we provide the fine-tuned classifier for further analysis. Our analysis shows that some styles are highly dependent on each other (e.g., impoliteness and offense), and some domains (e.g., tweets, political debates) are stylistically more diverse than others (e.g., academic manuscripts). We discuss the technical challenges of cross-style understanding and potential directions for future research: cross-style modeling which shares the internal representation for low-resource or low-performance styles and other applications such as cross-style generation.

研究の動機と目的

• 複数のスタイル的要因が複雑に共変するクロススタイル言語理解のための包括的ベンチマークが不足しているという問題に取り組む。
• 形式、感情、比喩的表現などを含む多様なスタイルにわたるモデルの体系的評価を可能にする。
• 不遜さや攻撃的表現といったスタイル的要因がどのように共変するかを調査する。
• 微調整済み分類器と再現可能な分析・モデル評価を可能にするオンラインプラットフォームを提供する。
• とりわけ低リソースまたは低パフォーマンスのスタイルに対して、クロススタイルモデリングにおける技術的課題を調査する。

提案手法

• xSLUEベンチマークは、ツイート、政治的討論、学術論文など15の異なるスタイルにおけるテキストを収集・アノテートする。
• 各スタイルに対して、形式、感情、攻撃性など多様なスタイル的属性をカバーする23の分類タスクを定義する。
• 各タスクに対して事前学習済みおよび微調整済み分類器を提供することで、標準化された評価と比較を可能にする。
• 統計的および相関分析を用いて、不遜さと攻撃的表現の共起など、スタイル的要因間の依存関係を解明する。
• スタイル間で内部表現を共有することで、低リソーススタイルのパフォーマンス向上を図るクロススタイルモデリングを支援するフレームワークを提供する。
• コミュニティ利用および拡張性を考慮し、コーパス、モデル、評価ツールをホスティングするオンラインプラットフォームを構築する。

実験結果

リサーチクエスチョン

• RQ1 形式、感情、比喩的表現といった異なるスタイル的要因が、多様なテキストタイプにおいてどのように共変するか？
• RQ2 ツイートや政治的討論といった特定のスタイルは、学術論文のような制約の強いドメインと比べて、どれほどスタイル的多様性が高いか？
• RQ3 不遜さと攻撃性といったスタイル的属性の間には、どのような主要な依存関係があるか？
• RQ4 共有内部表現を用いたクロススタイルモデリングは、低リソーススタイルのパフォーマンス向上にどのように寄与するか？
• RQ5 クロススタイル言語理解モデリングにおいて生じる技術的課題は何か、そしてそれらはどのように解決できるか？

主な発見

• 不遜さと攻撃的表現は強く共変しており、特定のテキストタイプでは高い相関関係が示された。
• ツイートや政治的討論といったドメインは、学術論文のような制約の強いドメインと比較して、顕著に高いスタイル的多様性を示した。
• ベンチマークは15のスタイルと23の分類タスクにおいて一貫した評価を可能にし、各タスクに対して微調整済みモデルが提供された。
• 内部表現を共有するクロススタイルモデリングは、低リソースまたは低パフォーマンスのスタイルのパフォーマンス向上に有望であることが示された。
• プラットフォームは再現可能な研究と分析を促進し、今後のクロススタイル生成および表現学習分野の研究を支援する。