[論文レビュー] Pun Generation with Surprise

He He, Nanyun Peng+1 more|arXiv (Cornell University)|Apr 15, 2019

Humor Studies and Applications参考文献 29被引用数 4

ひとこと要約

この論文では、局所的・グローバルな驚きの対比に基づく非教師ありパロンドム生成手法SurGenを提案する。この手法は、文脈におけるパロンドム語とその同音語の代替語の間で、局所的文脈とグローバル文脈における驚きのレベルの対比を活用する。言語モデルとスキップグラムによる語の提案を用いたリtrieve-and-editフレームワークを採用することで、人間評価において31%の成功率を達成した。これはニューラル生成ベースラインの9%を3倍に上回り、大規模なアノテート済みコーパスを必要とせずに、効果的で革新的なパロンドム生成が可能であることを示している。

ABSTRACT

We tackle the problem of generating a pun sentence given a pair of homophones (e.g., "died" and "dyed"). Supervised text generation is inappropriate due to the lack of a large corpus of puns, and even if such a corpus existed, mimicry is at odds with generating novel content. In this paper, we propose an unsupervised approach to pun generation using a corpus of unhumorous text and what we call the local-global surprisal principle: we posit that in a pun sentence, there is a strong association between the pun word (e.g., "dyed") and the distant context, as well as a strong association between the alternative word (e.g., "died") and the immediate context. This contrast creates surprise and thus humor. We instantiate this principle for pun generation in two ways: (i) as a measure based on the ratio of probabilities under a language model, and (ii) a retrieve-and-edit approach based on words suggested by a skip-gram model. Human evaluation shows that our retrieve-and-edit approach generates puns successfully 31% of the time, tripling the success rate of a neural generation baseline.

研究の動機と目的

• 大規模なパロンドムコーパスの不足と、創造的コンテンツ生成における教師あり手法の限界に対処すること。
• 既存データを模倣するのではなく、新規でユーモラスな文を生成する非教師ありアプローチの開発。
• 局所的文脈とグローバル文脈における驚きの対比に基づくユーモアの原理を形式化すること。
• 認知的原則としての驚きと不条理の概念を組み込むことで、ニューラル系列モデルを超えるパロンドム生成の向上。

提案手法

• 局所的・グローバルな驚きの原理を提唱：パロンドム語は局所的に驚き（即時の文脈で不自然）だが、グローバルには予測可能（広い文脈で支持される）であり、逆に代替語は逆の性質を持つ。
• 局所的・グローバルな文脈が与えられたもとで、パロンドム語と代替語の尤度比の対数を驚き指標として定義：$ S(c) = -\log \frac{p(w^p|c)}{p(w^a|c)} $。
• リtrieve-and-editフレームワークを実装：スキップグラム埋め込みを用いて、非ユーモラスコーパスから候補文を検索し、その後でパロンドム語を挿入して編集する。
• ニューラル言語モデルを用いて、生成された文の文法的整合性とスムーズさをスコア化・改善する。
• 驚きの原理を実装するため、パロンドム語が局所的に驚きでありながらグローバルには妥当な文を選択する。
• 生成されたパロンドムのスムーズさと一貫性を向上させるため、ニューラルスムージングモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 局所的文脈とグローバル文脈における驚きの対比は、ユーモラスなパロンドムを特定するための信頼できるシグナルとして機能するか？
• RQ2 この局所的・グローバルな驚きの原理は、大規模なアノテート済み学習データがなくても、新規で創造的なパロンドムを効果的に生成できるように実装可能か？
• RQ3 この原理に基づくリtrieve-and-editアプローチは、パロンドムの質と成功率において、エンドツーエンドのニューラル生成を上回るか？
• RQ4 驚き指標は、人間によるパロンドムの面白さの判断とどの程度相関するか？
• RQ5 この手法は、文法的に正しいだけでなく、人間が面白いと感じるパロンドムを生成できるか？

主な発見

• 局所的・グローバルな驚き指標は、人間によるパロンドムの面白さ評価と強く相関しており、認知的に妥当であることが裏付けられた。
• SurGenのリtrieve-and-editシステムは、人間評価において31%の成功率を達成した。これはニューラル生成ベースラインの9%を3倍に上回る。
• 人間評価者により、SurGenが生成したパロンドムは、ニューラルベースラインのそれよりも顕著に面白いと評価された。
• この手法は、驚きのレベルの対比を生成することで、パロンドムを成功裏に生成した：パロンドム語は局所的に予期せず、しかしグローバルには妥当だった。
• このアプローチは150組の同音語ペアに一般化可能であり、パロンドム固有のデータでの微調整を必要とせず、堅牢性を示した。
• 本研究は、創造的で新規のアイデアと言語的ナンセンスを区別する難しさを浮き彫りにした。今後の研究では、これらの概念をより明確に分離する必要があると示唆している。