[論文レビュー] A Lexical, Syntactic, and Semantic Perspective for Understanding Style in Text

Gaurav Verma, B. Srinivasan|arXiv (Cornell University)|Sep 18, 2019

Authorship Attribution and Profiling参考文献 64被引用数 13

ひとこと要約

本稿では、語彙的、構文的、意味的視点から、著者識別、感情予測、著者スタイル分析の各タスクにおいて、多様なテキストドメイン（ソーシャルメディア、レビュー、法的文書など）で性能を向上させるために、定量的言語的直観を用いた、言語学的に根拠を持つ多層的フレームワークを提案する。

ABSTRACT

With a growing interest in modeling inherent subjectivity in natural language, we present a linguistically-motivated process to understand and analyze the writing style of individuals from three perspectives: lexical, syntactic, and semantic. We discuss the stylistically expressive elements within each of these levels and use existing methods to quantify the linguistic intuitions related to some of these elements. We show that such a multi-level analysis is useful for developing a well-knit understanding of style - which is independent of the natural language task at hand, and also demonstrate its value in solving three downstream tasks: authors' style analysis, authorship attribution, and emotion prediction. We conduct experiments on a variety of datasets, comprising texts from social networking sites, user reviews, legal documents, literary books, and newswire. The results on the aforementioned tasks and datasets illustrate that such a multi-level understanding of style, which has been largely ignored in recent works, models style-related subjectivity in text and can be leveraged to improve performance on multiple downstream tasks both qualitatively and quantitatively.

研究の動機と目的

• タスクに依存しない、言語学的に根拠を持つ著者スタイル理解を構築すること。
• 語彙的、構文的、意味的レベルでスタイル要因を特定・定量化し、スタイルのばらつきの全範囲を捉えること。
• この多層的スタイル表現の実用性を、著者識別や感情予測などの下流NLPタスクにおける性能向上を通じて示すこと。
• トピックやコンテンツ要因からスタイルの影響を分離できる、構造的かつ解釈可能なスタイル表現を提供すること。
• 言語学的直観とデータ駆動型モデリングの間のギャップを埋めるために、既存の心理言語学的および計算言語学的原則に根ざした特徴を導入すること。

提案手法

• スタイル要因を3つのレベルに分類する：語彙的（語彙選択、例：フォーマル対カジュアル、主観的対客観的）、構文的（文構造、例：能動態対受動態、緩い文対周期的文）、意味的（意味レベルの属性、例：感情、フォーマルさ、丁寧さ）。
• 既存の計算手法を用いて言語的直観を定量化する。例：意味的特徴には単語埋め込み、構文的パターンには依存構文解析、語彙的主観性には感情辞書を用いる。
• 語彙的、構文的、意味的次元の特徴を集約して、包括的なスタイルプロファイルを構築することで、多層的スタイル表現を構築する。
• この多層的スタイル特徴を、最先端の著者識別および感情予測モデルに統合し、性能向上を評価する。
• 5名の代表的英語作家を対象に、語彙的、構文的、意味的レベルでの定性的および定量的分析を通じて、スタイルの違いを分析する。
• ソーシャルメディア（Facebook、Twitter）、ユーザーレビュー（IMDb）、法的文書、文学的テキスト、ニューズリポート（Reuters）を含む多様なデータセットを用いて、ドメイン一般化を確認する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、言語学的に根拠を持つ基準を用いて、著者スタイルを語彙的、構文的、意味的レベルに体系的に分解できるか？
• RQ2 コンテンツのみ、または単一レベルのスタイルベースラインと比較して、多層的スタイル特徴は著者識別および感情予測の性能をどの程度向上させるか？
• RQ3 統一的かつ解釈可能なスタイル表現は、ソーシャルメディア、法的文書、文学的作品といった多様なドメインにおけるスタイルのばらつきを捉えることができるか？
• RQ4 語彙的選択、文構造、意味的感情など、スタイル要因は、フォーマルさ、感情表現の強さ、丁寧さといった心理言語学的構造とどの程度相関するか？
• RQ5 各スタイルレベル（語彙的、構文的、意味的）が、下流NLPタスクにおける著者スタイルのモデリングに果たす相対的寄与度はどの程度か？

主な発見

• 多層的スタイル表現は、従来のn-gramや機能語頻度を超えた、構造的かつ解釈可能なスタイル特徴を組み込むことで、著者識別タスクにおける性能を顕著に向上させる。
• 構文的および意味的特徴（例：文の種別（緩い文対周期的文）や意味的主観性）の組み込みにより、感情予測の性能に明確な向上が見られ、語彙的感情特徴と組み合わせると特に顕著である。
• フレームワークは、5名の著名な英語作家間のスタイル差を効果的に捉えており、語彙的選択、構文的複雑さ、意味的トーンの面で顕著なパターンの違いを明らかにした。
• ソーシャルメディア、レビュー、法的文書、文学的テキスト、ニューズリポートといった多様なドメインで実施した実験により、多層的アプローチが一般化に優れており、トピックやジャンルの変動に対しても頑健であることが確認された。
• 研究では、スタイル特徴が感情やフォーマルさと相関しているだけでなく、トピックやコンテンツを制御しても独立してモデル性能に寄与することが示された。
• 定量的結果から、提案手法が著者識別および感情予測タスクにおいて、既存の最先端モデルを上回ることを裏付け、言語学的に根拠を持つ多層的スタイル分析の価値が実証された。