[論文レビュー] #HashtagWars: Learning a Sense of Humor

Peter Potash, Alexey Romanov+1 more|arXiv (Cornell University)|Dec 9, 2016

Humor Studies and Applications参考文献 19被引用数 6

ひとこと要約

この論文は、コメディ・センターの@midnight番組から、特定のハッシュタグに対する面白いツイートの集まりである#HashtagWars（HW）データセットを紹介する。このデータセットは、二値の面白さ検出ではなく、比較的面白い度合いの順位付けを可能にする。半自動のデータ収集パイプラインを用いて、著者らは文字単位のニューラルモデルがトークン単位のモデルを上回ることを示している。特に、このデータセットにおいてユーモアの根幹をなすダブルミーニングや未知語彙の処理が可能であるため、63.7%の正確性を達成している。

ABSTRACT

In this work, we present a new dataset for computational humor, specifically comparative humor ranking, which attempts to eschew the ubiquitous binary approach to humor detection. The dataset consists of tweets that are humorous responses to a given hashtag. We describe the motivation for this new dataset, as well as the collection process, which includes a description of our semi-automated system for data collection. We also present initial experiments for this dataset using both unsupervised and supervised approaches. Our best supervised system achieved 63.7% accuracy, suggesting that this task is much more difficult than comparable humor detection tasks. Initial experiments indicate that a character-level model is more suitable for this task than a token-level model, likely due to a large amount of puns that can be captured by a character-level model.

研究の動機と目的

• 二値のユーモア検出の限界を克服し、主観的で番組単位のユーモア評価に基づく比較的ユーモア順位付けを可能にすること。
• テレビ番組で確立されたユーモア評価に基づき、実世界のハッシュタグに対する面白いツイートのスケールの大きなデータセットを構築すること。
• 計算モデルが、ユーモアを孤立して検出するのではなく、特定の感覚的ユーモアに基づいてユーモアの順位を学習できるかどうかを調査すること。
• 特に文字単位のモデルとトークン単位のモデルの違いが、短いテキストにおけるダブルミーニングに基づくユーモアを捉える能力に与える影響を評価すること。
• 外部知識やモデルアンサンブルが、意味的埋め込みだけでは不十分な場合に、ユーモア理解を向上させる可能性を調査すること。

提案手法

• データセットは、@midnightテレビ番組のハッシュタグに対する視聴者から寄せられたツイートを収集する半自動システムにより収集され、番組が提供するラベルを相対的なユーモア順位として用いる。
• タスクはペアワイズ比較として定式化される：同じハッシュタグに対して2つのツイートが与えられたとき、番組がどちらをより面白いと見なすかを予測する。
• 教師ありモデルは、文字単位のRNNまたはHTE（異種テキスト埋め込み）を用いた平均トークン埋め込みから得られる入力表現を用いたフィードフォワードニューラルネットワーク（FFNN）で訓練される。
• 文字単位のモデルはツイートを1文字ずつ処理するため、このデータセットに一般的な未知語彙やダブルミーニングの処理が可能になる。
• 性能評価は、ホールドアウトされたテスト用ハッシュタグにおけるマイクロ正確度を用い、ドロップアウトの有無やさまざまな埋め込みタイプを比較するアブレーションスタディが実施される。
• テスト用ハッシュタグの埋め込みとトレーニング用ハッシュタグの平均値とのコサイン類似度分析により、ハッシュタグ間での一般化可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 テレビ番組が面白いツイートを選んでいるように、特定の普遍的ではないユーモア感覚に基づいて、計算モデルがユーモアの順位を学習できるか？
• RQ2 短いソーシャルメディアのテキストにおけるダブルミーニングに基づくユーモアを捉える際、文字単位のニューラルモデルがトークン単位のモデルを上回るか？
• RQ3 ユーモア順位付けモデルの性能が、さまざまなハッシュタグにわたって一般化される程度はどの程度か？また、テスト用とトレーニング用ハッシュタグの類似度が正確度に与える影響は？
• RQ4 単純なトークン埋め込みの平均化が、ユーモア順位付けのための競争力のあるベースラインを提供できるか、それともより複雑なシーケンスモデリングが必要か？
• RQ5 アンサンブル手法や外部知識ソース（例：ニューラルチューリングマシンを介して）の統合により、このタスクにおける性能向上の可能性はあるか？

主な発見

• 提案された#HashtagWarsデータセットは、NYCCデータセットなどの既存のユーモアデータセットと比べて数個のオーダーも大きく、ユーモア順位付けシステムのより強固な評価を可能にしている。
• 最も優れた教師ありモデルは、ペアワイズユーモア順位付けタスクで63.7%の正確度を達成しており、これは二値のユーモア検出よりもはるかに困難であることを示している。
• 文字単位のモデルが、すべてのトークン単位のモデルを上回った。これは、このタスクにおいて、語彙的・音声的パターン（例：ダブルミーニング）を捉える能力が不可欠であることを示唆している。
• RNNベースの文字単位モデルは、同じ下流分類器を用いても、単純なトークン埋め込みの平均化よりも効果的な表現を学習していた。
• ハッシュタグ類似度（平均埋め込みに基づく）とテスト正確度の間の相関は低く（0.223）、ハッシュタグ埋め込み類似度がモデルの一般化を強く予測するものではないことを示している。
• すべてのシステム（ランダムベースラインを除く）において、正確度の標準偏差が0.01未満であり、評価フレームワークの信頼性が確認された。