[論文レビュー] Automatic Identification of Sarcasm Target: An Introductory Approach

Aditya Joshi, Pranav Goel+2 more|arXiv (Cornell University)|Oct 22, 2016

Sentiment Analysis and Opinion Mining参考文献 21被引用数 3

ひとこと要約

本稿では、皮肉な発言における皮肉の対象となる実体または概念を抽出する、新しいタスク「皮肉の標的特定」を紹介する。ルールベースと統計的分類器を組み合わせたハイブリッド手法を提案し、書籍の抜粋とツイートの両方で、2つのベースラインおよび個々のコンponentを上回る性能を発揮し、ハイブリッドOR構成でDiceスコア39.63を達成した。

ABSTRACT

Past work in computational sarcasm deals primarily with sarcasm detection. In this paper, we introduce a novel, related problem: sarcasm target identification i.e., extracting the target of ridicule in a sarcastic sentence). We present an introductory approach for sarcasm target identification. Our approach employs two types of extractors: one based on rules, and another consisting of a statistical classifier. To compare our approach, we use two baselines: a naïve baseline and another baseline based on work in sentiment target identification. We perform our experiments on book snippets and tweets, and show that our hybrid approach performs better than the two baselines and also, in comparison with using the two extractors individually. Our introductory approach establishes the viability of sarcasm target identification, and will serve as a baseline for future work.

研究の動機と目的

• 皮肉の計算的分析分野における空白を埋めるために、皮肉な文章における皮肉の標的を特定するという、これまで未解決であったタスクに取り組む。
• 皮肉な文における特定の実体または概念が皮肉の標的としてどのように正確に抽出できるかを検討する。
• 実世界の皮肉な文章に対して、ルールベースと統計的抽出手法を組み合わせたハイブリッド手法の性能を評価する。
• 手作業でアノテートされたデータセットを用いて、皮肉の標的特定分野における今後の研究のためのベースラインを確立する。
• 複数の標的や、標的が文に明示的に存在しないケース（ラベル：'Outside'）といった課題を分析する。

提案手法

• このアプローチは、文法的および語彙的パターンに基づき、皮肉の標的を特定するための9つの言語的ルールを実装したルールベース抽出器を用いる。
• 統計的分類器は、文の各単語を個別のインスタンスとして処理し、品詞（POS）およびセンチメント特徴を用いて、その単語が皮肉の標的であるかどうかを予測する。
• 2つの抽出器の出力を、2通りの構成で統合する：OR（予測の和集合）とAND（予測の積集合）。
• システムは、書籍の抜粋とツイートの両方の手作業でアノテートされたデータセットを用いて訓練および評価される。
• 性能は、正確一致（EM）、F1スコア、Diceスコアで測定され、特に標的が文に存在しない「Outside」ケースに特に注意を払う。
• 誤差分析では、標的が文に存在しないケースに注目し、誤分類のパターンを特定する。

実験結果

リサーチクエスチョン

• RQ1 ルールベースと統計的手法を組み合わせたハイブリッド手法は、皮肉な文章における皮肉の標的を効果的に特定できるか？
• RQ2 提案手法の性能は、単純なベースラインおよびセンチメント標的特定ベースラインと比べてどうか？
• RQ3 皮肉の標的が文に明示的に存在しない場合（すなわち「Outside」ケースの場合）に生じる課題は何か？
• RQ4 ORおよびANDの統合戦略は、精度、再現率、F1スコアの観点でどのように比較できるか？
• RQ5 「Outside」ケースにおける主な誤分類パターンは何か？今後の研究でどのように是正できるか？

主な発見

• ハイブリッドORアプローチが、統合データセットで最高の性能を発揮し、Diceスコア39.63を達成した。これは、2つのベースラインおよび個々の抽出器を上回った。
• ルールベース抽出器と統計的分類器は、個別に評価するとハイブリッドOR構成より性能が低く、相補的な強みがあることが示された。
• 「Outside」ケースにおける性能は、Diceスコアが39.63から20.45に著しく低下したが、正確一致は比較的安定していたことから、部分一致の問題が生じていると判明した。
• システムは、'Yeah, just ignore me. That is TOTALLY the right way to handle this!' のような文に対して正しく「Outside」と特定したが、同様の文では 'I' や 'me' を誤って標的として割り当てた。
• 誤差分析により、'Outside'ケースにおける誤分類は、文に存在しない指標代名詞や、文にない暗黙の指し示し対象を過剰に解釈することで生じることが判明した。
• 本研究は、皮肉の標的特定分野における最初のベースラインを確立し、今後の研究に向けた公開可能なアノテート済みデータセットを提供した。