[論文レビュー] Sarcasm Detection using Hybrid Neural Network

Rishabh Misra, Prahal Arora|arXiv (Cornell University)|Jan 1, 2018

Sentiment Analysis and Opinion Mining参考文献 8被引用数 77

ひとこと要約

本論文では、The Onion および HuffPost の高品質なニュース見出しデータセットを用いて、CNN、BiLSTM、およびアテンションメカニズムを組み合わせたハイブリッドニューラルネットワークを提案する。このモデルは、強力なベースラインに対して分類精度を 4.82% 向上させるとともに、皮肉を示す要因となる矛盾する語句を強調することで解釈可能性を提供する。

ABSTRACT

Sarcasm Detection has enjoyed great interest from the research community, however the task of predicting sarcasm in a text remains an elusive problem for machines. Past studies mostly make use of twitter datasets collected using hashtag based supervision but such datasets are noisy in terms of labels and language. To overcome these shortcoming, we introduce a new dataset which contains news headlines from a sarcastic news website and a real news website. Next, we propose a hybrid Neural Network architecture with attention mechanism which provides insights about what actually makes sentences sarcastic. Through experiments, we show that the proposed model improves upon the baseline by ~ 5% in terms of classification accuracy.

研究の動機と目的

• 皮肉検出のためのノイズの多い Twitter ベースのデータセットの限界を克服するため、高品質でフォーマルな言語のニュース見出しデータセットを構築すること。
• 局所的な n-gram パatters と順序的な文脈の両方を捉える解釈可能なディープラーニングモデルを構築すること。
• モデルが学習する言語的ヒント、特に矛盾する感情の共起を特定する定性的な知見を提供すること。
• アテンションメカニズムを統合することで、見出し内の意味的に矛盾するフレーズを強調し、既存のベースラインを上回ること。

提案手法

• 入力表現として事前学習済み word2vec 嵄み込みを用い、未知語はランダムに初期化し、学習中に微調整する。
• 畳み込みニューラルネットワーク（CNN）が見出しテキストからの局所的な n-gram 特徴を抽出する。
• 双方向LSTM（BiLSTM）が各単語の前方および後方の隠れ状態を捉えることで、順序的な文脈を符号化する。
• アテンションメカニズムが BiLSTM の隠れ状態を重み付けし、文脈ベクトルを計算することで、意味的に矛盾するフレーズ（例：'civic engagement' と 'oppressing other people'）に注目する。
• アテンションからの文脈ベクトルと CNN の出力を連結し、マルチレイヤーパーセプトロン（MLP）に供給することで、皮肉の二値分類を実行する。
• 交差エントロピー損失と AdaDelta 最適化アルゴリズムを用いて、モデル全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 CNN、BiLSTM、アテンションを組み合わせたハイブリッドニューラルネットワークアーキテクチャが、高品質なデータセット上で強力なベースラインよりも皮肉検出精度を向上させることができるか？
• RQ2 モデルは皮肉を特定するために、どのような言語的ヒント（特に意味的矛盾）を学習しているか？
• RQ3 アテンション重みは、対照的な感情の共起といった人間の皮肉の直感とどの程度相関しているか？
• RQ4 モデルの解釈可能性は、皮肉検出の背後にあるメカニズムを理解するのにどの程度役立つか？
• RQ5 このモデルからの転移学習により、Semeval のような小さなノイズの多いデータセットでも性能が向上するか？

主な発見

• 提案されたハイブリッドモデルは、テスト精度が 89.7% を達成し、ベースラインモデルの 84.88% に対して 4.82% の向上を示した。
• アテンションメカニズムは、意味的に矛盾する語句（例：'civic engagement' と 'oppressing other people'）を効果的に強調しており、これらは皮肉の重要な兆候である。
• 定性的な分析により、モデルが対照的な感情を示すフレーズに注目していることが確認され、人間の皮肉の認識と一致している。
• モデルは頑健性と解釈可能性を示しており、'bald man' や 'stopped paying attention' のような偽りの感情や風刺表現を明確に示すアテンション重みを有している。
• 高品質なニュース見出しデータセットは、Twitter ベースのデータセットと比較して語彙のスパarsity とラベルノイズが著しく低減されており、より良いモデル性能を実現している。