[論文レビュー] Tweet Acts: A Speech Act Classifier for Twitter

Soroush Vosoughi, Deb Roy|arXiv (Cornell University)|May 17, 2016

Digital Communication and Language参考文献 8被引用数 13

ひとこと要約

本稿では、6つのスピークアクティビティタイプ（アサーション、表現、質問、依頼、勧奨、その他）から成る独自の分類体系を用い、意味的および構文的特徴を活用して、Twitter用の教師ありスピークアクティビティ分類器を提案する。手動でアノテートされた7,563件のツイートを用いて訓練されたロジスティック回帰モデルは、SOTAの平均F1スコア0.70を達成し、トピック別分類器がツイッター全体やタイプ別バージョンを上回った。

ABSTRACT

Speech acts are a way to conceptualize speech as action. This holds true for communication on any platform, including social media platforms such as Twitter. In this paper, we explored speech act recognition on Twitter by treating it as a multi-class classification problem. We created a taxonomy of six speech acts for Twitter and proposed a set of semantic and syntactic features. We trained and tested a logistic regression classifier using a data set of manually labelled tweets. Our method achieved a state-of-the-art performance with an average F1 score of more than $0.70$. We also explored classifiers with three different granularities (Twitter-wide, type-specific and topic-specific) in order to find the right balance between generalization and overfitting for our task.

研究の動機と目的

• ツイートの意味的意図を、文面の意味を越えて、コミュニケーションの目的を捉えることのできる、Twitter向けの教師ありスピークアクティビティ分類器の開発。
• ツイッターの非公式でノイズが多く、文脈依存的な言語使用に適した6つのスピークアクティビティカテゴリの分類体系の構築。
• 短い公開ソーシャルメディアテキストにおけるスピークアクティビティを予測するのに有効な意味的および構文的特徴の同定と評価。
• 一般化と過学習のバランスを取るために、ツイッター全体、タイプ別、トピック別という3つの粒度で分類器の性能を比較。
• フェイクニュース検出やセンチメント分析などの後続応用を改善するため、ツイートにおけるユーザー意図を正確に同定すること。

提案手法

• Searleのスピークアクティビティ理論とツイッター固有の使用パターンに基づき、6つのスピークアクティビティタイプ（アサーション、表現、質問、依頼、勧奨、その他）の分類体系を構築。
• 6つのトピック（エンティティ指向、イベント指向、長期間継続的）から各2件ずつ、計7,563件の手動アノテート済みツイートを収集。アノテーター間一致性はCohenのKappa = 0.78であった。
• 意味的キュー（例：センチメント、モダリティ、感情語、否定）と構文的キュー（例：品詞タグ、感嘆詞の有無、形容詞）を組み合わせた3,313個のバイナリ特徴を抽出。
• 20分割交差検証を用い、5つの分類器（ナイーブベイズ、決定木、SVM、ロジスティック回帰、ベースラインのmax分類器）を訓練・評価し、3つの粒度で評価。
• 意味的特徴と構文的特徴のサブセットを別々に使用したモデルと、全特徴集合を使用したモデルの性能を比較し、各モodalの寄与度を評価。
• 同じ評価プロトコルを用いて、Zhangらの先行SOTA分類器と比較して、最終モデル（TweetAct）の性能をベンチマーク化。

実験結果

リサーチクエスチョン

• RQ1 Twitterのコミュニケーションにおいて、最も代表的で特徴的なスピークアクティビティカテゴリは何か。また、それらを計算的分析に適した形式で分類するにはどうすればよいか？
• RQ2 短く非公式なツイッター文において、特定のスピークアクティビティを予測するのに最も予測力のある意味的および構文的特徴は何か？
• RQ3 スピークアクティビティをモデル化する際、ツイッター全体、タイプ別、トピック別という3つの粒度で分類器の性能はどのように変化するか？
• RQ4 意味的特徴と構文的特徴は、スピークアクティビティ分類性能にそれぞれどの程度独立して寄与しているか？
• RQ5 教師ありスピークアクティビティ分類器は、フェイクニュース検出などの応用において、既存の手法を上回る性能を示せるか、特にユーザー意図の同定において？

主な発見

• ロジスティック回帰分類器は、ツイッター全体設定において、6つのスピークアクティビティクラスすべてでSOTAの平均F1スコア0.70を達成した。
• トピック別分類器は、ツイッター全体およびタイプ別分類器を上回り、平均F1スコア0.74を達成した。これは、トピック別コンテキストが分類精度を向上させることを示している。
• 意味的特徴と構文的特徴を併用した場合が最も高い性能を示し、全特徴集合を用いたモデルは、単一の特徴タイプのみを用いたモデルを顕著に上回った。
• 意味的特徴は、表現や質問の分類に強く寄与したが、構文的特徴（特に感嘆詞と形容詞）は、表現や勧奨の分類において非常に予測力が高かった。
• TweetAct分類器は、Zhangらの先行SOTA分類器を、6つのスピークアクティビティすべてのカテゴリで上回り、各クラスでより高いF1スコアを達成した。
• モデルの性能は、質問（F1 = 0.87）と表現（F1 = 0.80）に対して最も安定していたが、依頼（F1 = 0.30）と勧奨（F1 = 0.16）は依然として最も困難なクラスであった。