[論文レビュー] Sarcasm SIGN: Interpreting Sarcasm with Sentiment Based Monolingual Machine Translation

Lotem Peled, Roi Reichart|arXiv (Cornell University)|Apr 22, 2017

Natural Language Processing Techniques参考文献 16被引用数 9

ひとこと要約

本稿では、スラング的発言を解釈するための新しい単語言語機械翻訳手法Sarcasm SIGNを紹介する。この手法は、感情語をその意味的クラスタに置き換え、その後適切な非皮肉的同等語に再構成することで、皮肉的なツイートを解釈する。自動評価指標のスコアは類似しているものの、人的評価において適切性と感情極性の両面でベースラインMTシステムを上回り、皮肉の背後にある真の感情を捉える有効性を示している。

ABSTRACT

Sarcasm is a form of speech in which speakers say the opposite of what they truly mean in order to convey a strong sentiment. In other words, "Sarcasm is the giant chasm between what I say, and the person who doesn't get it.". In this paper we present the novel task of sarcasm interpretation, defined as the generation of a non-sarcastic utterance conveying the same message as the original sarcastic one. We introduce a novel dataset of 3000 sarcastic tweets, each interpreted by five human judges. Addressing the task as monolingual machine translation (MT), we experiment with MT algorithms and evaluation measures. We then present SIGN: an MT based sarcasm interpretation algorithm that targets sentiment words, a defining element of textual sarcasm. We show that while the scores of n-gram based automatic measures are similar for all interpretation models, SIGN's interpretations are scored higher by humans for adequacy and sentiment polarity. We conclude with a discussion on future research directions for our new task.

研究の動機と目的

• 皮肉的な発言を解釈する課題に取り組み、元の感情を保ちつつ非皮肉的な言い換え文を生成すること。
• 皮肉的な発言と同一の意味を伝える非皮肉的発言を生成するという、新しいタスク「皮肉の解釈」を定義すること。
• 3000件の皮肉的ツイートと、それぞれに5つの人的アノテーションによる非皮肉的解釈を含む大規模な並列データセットを構築すること。
• 機械翻訳ベースのモデルの皮肉の解釈性能を、流暢さ、適切性、感情極性の観点から評価すること。
• 感情に配慮したMTシステムSIGNを設計・検証し、クラスタベースの感情語置換によって解釈品質を向上させること。

提案手法

• 皮肉の解釈を単語言語機械翻訳として定式化し、3000件の皮肉的ツイートと、それぞれに5つの非皮肉的解釈を含む並列コーパスを用いる。
• 感情語はSentiWordNetを用いて特定し、明確に肯定的および否定的であるとされる語（閾値0.6）を訓練データから抽出する。
• 肯定的および否定的語彙をL2距離を用いたk-means法でクラスタリングし、1クラスタあたり約10語（肯定的7クラスタ、否定的16クラスタ）を目標とする。
• 入力の皮肉的ツイートと参照解釈は、感情語をそのクラスタ識別子（例：'love' → 'cluster-i'）に置換することで事前処理を行う。
• クラスタ変換済みの並列データ上で、フレーズベースのMTシステム（Moses）を学習させ、皮肉的表現と非皮肉的表現の間のマッピングを学習する。
• テスト段階では、3つの戦略を用いてMT出力を再クラスタリングする：重心に基づく選択、文脈に配慮したPMIに基づく選択、およびオラクル的人的選択。

実験結果

リサーチクエスチョン

• RQ1 単語言語機械翻訳を、皮肉の解釈という新規タスクに効果的に適用できるか？
• RQ2 自動評価指標と人的判断は、皮肉の解釈品質を評価する上でどのように比較されるか？
• RQ3 SIGNのような感情に配慮したアプローチは、標準的なMTシステムに比べて解釈品質を向上させるか？
• RQ4 感情語のクラスタリングは、生成された解釈の流暢さ、適切性、感情の正確性にどの程度寄与するか？
• RQ5 重心ベース、文脈ベース、オラクルの異なる再クラスタリング戦略が、最終的な解釈品質に与える影響は何か？

主な発見

• 自動評価指標（BLEU、ROUGE、PINC）はすべてのモデルで類似したスコアを示したが、SIGNは人的評価において適切性と感情極性の両面でベースラインを上回った。
• SIGN-oracleは人的評価で最も高い適切性（平均4.21/5.0）と感情極性（4.33/5.0）を達成し、意図された意味と強い一致を示した。
• 重心ベースの再クラスタリング（SIGN-centroid）は、人的評価で適切性4.01/5.0、感情極性4.12/5.0を達成し、標準MTベースラインを上回った。
• 文脈に配慮した再クラスタリング（SIGN-context）は、人的評価で適切性4.05/5.0、感情極性4.15/5.0を達成し、局所的文脈に強く適応した堅牢性を示した。
• 3000件の皮肉的ツイートに5つの人的アノテーション付き解釈を含むデータセットは公開されており、今後の皮肉の解釈研究を可能にする。
• 本研究は、自動評価指標が皮肉の解釈評価に不十分であることを確認した。これは、人間の認識において顕著に異なるモデルを識別できないためである。