[論文レビュー] Attentional Multi-Reading Sarcasm Detection

Reza Ghaeini, Xiaoli Z. Fern+1 more|arXiv (Cornell University)|Sep 9, 2018

Psychology of Moral and Emotional Judgment参考文献 16被引用数 5

ひとこと要約

本稿では、会話の文脈を併用してスカラミズム検出を行う解釈可能でエンド・ツー・エンドの深層学習モデルであるAttentional Multi-Reading（AMR）を提案する。このモデルは、並列アテンション機構を用いて発話と会話文脈を同時に符号化し、SARCデータセットで最先端の性能を達成する。発話レベルの手がかりと文脈依存信号の両方を効果的に活用しており、アブレーションスタディおよびアテンション可視化により、各モodalの最終予測への寄与が明確に示されている。

ABSTRACT

Recognizing sarcasm often requires a deep understanding of multiple sources of information, including the utterance, the conversational context, and real world facts. Most of the current sarcasm detection systems consider only the utterance in isolation. There are some limited attempts toward taking into account the conversational context. In this paper, we propose an interpretable end-to-end model that combines information from both the utterance and the conversational context to detect sarcasm, and demonstrate its effectiveness through empirical evaluations. We also study the behavior of the proposed model to provide explanations for the model's decisions. Importantly, our model is capable of determining the impact of utterance and conversational context on the model's decisions. Finally, we provide an ablation study to illustrate the impact of different components of the proposed model.

研究の動機と目的

• 発話を単独で分析する従来のスカラミズム検出モデルの限界を是正し、会話文脈を統合すること。
• 発話と会話文脈の両方からの情報を統合的に統合する、解釈可能な深層学習モデルを、統合的でエンド・ツー・エンドのフレームワーク内で開発すること。
• アテンション可視化と局所的感度分析を通じて、モデルの予測に対する説明を提供すること。
• アブレーションおよび長さに基づく分析を用いて、発話と文脈の両者がモデル意思決定に与える影響を実証的に評価すること。

提案手法

• モデルは、コメント（C）と応答（R）を別々に符号化するために、2つの並列な双方向LSTMを採用する。
• 各シーケンスに対してマルチヘッド自己アテンション機構を適用し、文内依存関係を捉え、顕著なフレーズを強調する。
• 最終予測を生成するために、コメントと応答の符号化表現を、学習可能なアテンション重みαを用いた後段の統合機構で統合する。
• アテンション感度は、予測に対するアテンション重みに関する勾配の絶対値として計算され、特徴の重要性の解釈が可能になる。
• クロスエントロピー損失を用いてエンド・ツー・エンドで学習し、SARCデータセットで評価する。アブレーションスタディおよび定性的分析を実施する。
• アーキテクチャはモジュール式の分析をサポートする：発話のみと会話依存のコンponentsは独立して評価され、それぞれの寄与度が明確に評価される。

実験結果

リサーチクエスチョン

• RQ1 発話を単独で分析するモデルと比較して、会話文脈を統合することで、スカラミズム検出性能がどのように向上するか。
• RQ2 発話レベルの特徴と文脈レベルの特徴の両方が、モデルの最終予測にどの程度寄与しているか。
• RQ3 アテンション可視化と感度マップは、人間が理解可能な意味的な説明をモデルの意思決定に対して提供できるか。
• RQ4 コメントまたは応答の長さが、発話のみのコンポーネントと会話依存コンポーネントの相対的な性能にどのように影響するか。

主な発見

• 完全なAMRモデルは、発話のみのコンポーネントおよび会話依存コンポーネントよりもSARCデータセットで優れた性能を達成しており、統合的モデリングの利点を示している。
• 短いコメント（n ≤ 50トークン）では、発話のみのコンポーネントが会話依存コンポーネントを上回る。これは、短い発話に強い内部的手がかりが存在することを示している。
• 長いコメント（50 < n ≤ 200）では、会話依存コンポーネントが発話のみのコンポーネントを上回る。これは、入力長が増加するにつれて文脈の重要性が高まることを示している。
• 非常に短い応答（m ≤ 10）では、会話依存コンポーネントが優れている。これは、応答に内部的手がかりが欠如する場合、文脈が解釈に不可欠であることを示している。
• アテンション感度分析により、特定のフレーズペア（例：'another responsible gun' と 'man accidentally shoots'）が予測に最も大きな影響を与えていることが判明。これは人間の直観と整合的である。
• モデルの設計により、解釈可能な意思決定分析が可能である。発話と文脈が最終予測に与える寄与度は、学習可能なアテンション重みαを用いて定量的に測定可能である。