[論文レビュー] CASCADE: Contextual Sarcasm Detection in Online Discussion Forums

Devamanyu Hazarika, Soujanya Poria+4 more|ePrints@IISc (Indian Institute of Science)|May 16, 2018

Sentiment Analysis and Opinion Mining参考文献 26被引用数 39

ひとこと要約

CASCADEは、コンテンツベースの畳み込みニューラルネットワーク（CNN）と、ユーザー埋め込みおよびディス course モデリングを組み合わせたハイブリッドな皮肉検出モデルである。ユーザーのスタイル的・パーソナリティ的特徴を正準相関分析（CCA）を用いて統合し、コメントの系列から得られるディス course レベルの文脈を活用することで、SARC Redditコーパスにおいて、すべての文脈的要因を組み合わせた場合にCNNのみのベースライン比でF1スコア12%の向上を達成し、最先端の性能を実現した。

ABSTRACT

The literature in automated sarcasm detection has mainly focused on lexical, syntactic and semantic-level analysis of text. However, a sarcastic sentence can be expressed with contextual presumptions, background and commonsense knowledge. In this paper, we propose CASCADE (a ContextuAl SarCasm DEtector) that adopts a hybrid approach of both content and context-driven modeling for sarcasm detection in online social media discussions. For the latter, CASCADE aims at extracting contextual information from the discourse of a discussion thread. Also, since the sarcastic nature and form of expression can vary from person to person, CASCADE utilizes user embeddings that encode stylometric and personality features of the users. When used along with content-based feature extractors such as Convolutional Neural Networks (CNNs), we see a significant boost in the classification performance on a large Reddit corpus.

研究の動機と目的

• オンラインディスカッションフォーラムにおける暗黙的な皮肉を検出する課題に取り組むこと。これは、しばしば明示的な語彙的キーワードが欠落しているためである。
• 文レベルの特徴を超えた文脈的情報を組み込むことで、皮肉検出を改善すること。
• 個々のユーザーのスタイル的・パーソナリティ的特徴を埋め込みとしてモデル化し、個人の皮肉的傾向を捉えること。
• ディスカッションスレッドからのディス course レベルの文脈を統合し、背景情報やトピック的ヒントを提供すること。
• コンテンツ、ユーザー、ディス course 特徴を統合したハイブリッドディープラーニングモデルを構築し、皮肉検出性能を向上させること。

提案手法

• CASCADEは、個々のコメントからの構文的・意味的特徴を抽出するため、CNNを用いてコンテンツベースの表現を取得する。
• スタイリスティックおよびパーソナリティ特徴のマルチビュー統合を正準相関分析（CCA）を用いて行い、コン act で情報豊富な表現を学習することで、ユーザー埋め込みを生成する。
• ディス course 特徴は、ディスカッションスレッド内のコメントの系列を文書レベルのモデリング技術を用いてモデル化することで抽出される。
• 最終的な表現は、CNNの出力とユーザー埋め込み、ディス course 特徴を連結することで得られ、その後分類に用いられる。
• コンテンツ、ユーザー、文脈的表現の3つを同時に最適化できるように、エンドツーエンドでハイブリッドアーキテクチャを学習する。
• SARC Redditコーパスを用いてモデルを評価し、各コンponentの寄与度を特定するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーレベルのスタイル的・パーソナリティ的特徴を組み込むことで、皮肉検出性能はどの程度向上するか？
• RQ2 ディス course レベルの特徴が、文レベルのコンテンツを超えて皮肉検出にどの程度寄与するか？
• RQ3 ユーザー埋め込みとディス course モデリングの相対的な貢献度は、暗黙的な皮肉検出においてどのように異なるか？
• RQ4 ユーザー特徴の単純な連結と比較して、CCAを用いたユーザー埋め込み統合は、性能と一般化性能においてどの程度優れているか？
• RQ5 単一のコメントのみを考慮する場合に、文脈的なディス course モデリングが、皮肉の曖昧さを効果的に解消できるか？

主な発見

• すべてのコンponent（コンテンツ、ユーザー埋め込み、ディス course 特徴）を組み合わせた場合、CASCADEはCNNのみのベースライン比でF1スコア12%の絶対的向上を達成した。
• ユーザー埋め込みの導入のみで、全データセットでF1と正答率が8–12%向上した。これは、ユーザー埋め込みが強い識別力を持つことを示している。
• ディス course 特徴は顕著な貢献を示し、特にPolデータセットではCNNのみのモデル比でF1スコア3%の向上をもたらした。
• CCAを単純なユーザー特徴の連結に置き換えると、性能が著しく低下した。これは、CCAがコン act で情報豊富なユーザー表現を学習する有効性を示している。
• t-SNE可視化の結果、皮肉を発するユーザーは、学習済み埋め込みの分散が高くなる（10.92 vs. 5.20）ことが確認され、分類に役立つ明確で広がりのあるパターンを示している。
• 事例研究により、ディス course コンテキストが、曖昧なコメント（例：「ふう、だいぶ元気になったわ」）の皮肉を検出するために不可欠であることが確認された。