[論文レビュー] $R^3$: Reverse, Retrieve, and Rank for Sarcasm Generation with Commonsense Knowledge

Tuhin Chakrabarty, Debanjan Ghosh+2 more|arXiv (Cornell University)|Apr 28, 2020

Topic Modeling参考文献 28被引用数 9

ひとこと要約

本稿では、価値反転、COMETを用いた常識知識の取得、および微調整されたRoBERTaモデルによる矛盾スコアを用いた照合文の順序付けを行うことで、感情の反転と意味的不一致を統合的に扱う、非教師ありの皮肉生成フレームワーク$R^3$を提案する。この手法は、人間の評価において34%の割合で人間のジャッジを上回り、強化されたハイブリッドベースラインを90%の割合で上回る。これは、統合的な価値反転と意味的不一致を用いることで、皮肉の質が向上することを示している。

ABSTRACT

We propose an unsupervised approach for sarcasm generation based on a non-sarcastic input sentence. Our method employs a retrieve-and-edit framework to instantiate two major characteristics of sarcasm: reversal of valence and semantic incongruity with the context which could include shared commonsense or world knowledge between the speaker and the listener. While prior works on sarcasm generation predominantly focus on context incongruity, we show that combining valence reversal and semantic incongruity based on the commonsense knowledge generates sarcasm of higher quality. Human evaluation shows that our system generates sarcasm better than human annotators 34% of the time, and better than a reinforced hybrid baseline 90% of the time.

研究の動機と目的

• 皮肉生成における学習データの不足を解消するため、非教師ありフレームワークを提案すること。
• 常識知識を用いて、価値反転や意味的不一致といった複数の皮肉要因をモデル化すること。
• 皮肉の質を向上させるために、皮肉のユーモアや不一致を強化する、取得された常識的文脈を統合すること。
• 自動評価および人間評価において、既存のベースラインおよび人間が生成した皮肉を上回ること。
• 意味的不一致が、高品質な皮肉表現を生成する上で果たす役割を調査すること。

提案手法

• 入力文の評価的語に否定または語義の反対語を適用することで、価値を反転させ、皮肉の基本形を生成する。
• ConceptNetに微調整された言語モデルであるCOMETを用いて、関連する文脈的概念を常識知識として取得する。
• 価値反転された文と取得された常識的文を連結することで、候補となる皮肉表現を構築する。
• Multi-Genre NLIコーパスで微調整された矛盾検出モデルを用いて、候補文の意味的不一致を測定するための矛盾スコアで文を順序付ける。
• 矛盾スコアが最も高い文を選択し、価値反転された文に連結して最終出力を得る。
• 固定された生成パターンを用いる：価値反転された文の後に、上位ランクの常識的文を配置する。

実験結果

リサーチクエスチョン

• RQ1 価値反転と常識に基づく意味的不一致を組み合わせることで、皮肉生成の質が向上するか？
• RQ2 常識知識の統合が、生成された表現のユーモラスさと皮肉の認識にどのように影響するか？
• RQ3 ランダムまたは順序なしの取得と比較して、矛盾に基づく文の順序付けが、皮肉の質をどの程度向上させるか？
• RQ4 提案されたフレームワークは、人間が生成した皮肉および最先端のベースラインを人間評価で上回るか？
• RQ5 自動的な矛盾スコアは、人間の皮肉の認識と不一致の判断と相関するか？

主な発見

• $R^3$モデルは、皮肉の質という観点で、人間が生成した皮肉を34%の割合で上回った。
• モデルは、皮肉、ユーモラスさ、創造性といった複数の基準において、90%の割合で強化されたハイブリッドベースラインを上回った。
• アブレーションスタディの結果、価値反転と順序付け済みの常識的取得を組み合わせることで、個々のコンponentよりも顕著に性能が向上した。
• 最良のランク付け済みの取得文を用いた場合、人間の皮肉評価と自動的な矛盾スコアの間に高いピアソン相関が観察された（FMモデル）。これは、不一致が皮肉の認識において果たす役割を裏付けた。
• 全体的な成功にもかかわらず、モデルはたびたびランダムに取得された文の方が順序付け済みの文よりも優れた皮肉を生成することがあり、矛盾スコアの正確性に限界があることを示唆した。
• 生成順序の感度が顕著で、初期テストでは固定順序（反転文を最初に配置）の方が逆順よりも優れた結果を示した。