[論文レビュー] Joint Detection and Location of English Puns

Yanyan Zou, Wei Lu|arXiv (Cornell University)|Aug 31, 2019

Humor Studies and Applications参考文献 26被引用数 8

ひとこと要約

この論文は、文に対するパロントの位置を相対的に符号化する新しいBPAタギング方式を用いて、英語のパロント検出と位置特定を統合的に扱う手法を提案する。BiLSTM-CRFアーキテクチャに文字レベルの埋め込みと位置特徴を組み合わせることで、同定的および異義的パロントのベンチマークデータセットにおいて、両タスクで最先端の性能を達成した。

ABSTRACT

A pun is a form of wordplay for an intended humorous or rhetorical effect, where a word suggests two or more meanings by exploiting polysemy (homographic pun) or phonological similarity to another word (heterographic pun). This paper presents an approach that addresses pun detection and pun location jointly from a sequence labeling perspective. We employ a new tagging scheme such that the model is capable of performing such a joint task, where useful structural information can be properly captured. We show that our proposed model is effective in handling both homographic and heterographic puns. Empirical results on the benchmark datasets demonstrate that our approach can achieve new state-of-the-art results.

研究の動機と目的

• パロント検出と位置特定を別々のタスクとして扱うパイプライン手法の制限を克服すること。
• 文脈に高々1つのパロントしか存在しないといった構造的制約を活用し、モデルの一般化性能を向上させること。
• パロントが文の後半に現れる傾向を位置符号化によって捉えること。
• 同義的および異義的パロントの両方に適用可能な統一フレームワークを構築し、従来のタスク特化型モデルの限界を乗り越えること。
• 検出と位置特定の間での情報交換を可能にする共同学習により、性能を向上させること。

提案手法

• 高々1つのパロントが1文に1つまでであるという制約を強制する、3タグの新規BPA方式（B：パロントの前、P：パロント、A：パロントの後）を導入すること。
• 各単語に3つのタグのうち1つを割り当てるシーケンスラベルリング問題として、パロント検出と位置特定を定式化すること。
• サブワードの構造的特徴を捉え、OOV語の表現を改善するため、文字レベルの埋め込みを用いたBiLSTM-CRFモデルを採用すること。
• パロントが文の後半に現れる傾向があるという構造的傾向を符号化するため、単語の位置特徴を組み込むこと。
• CRFデコードを用いてグローバルに一貫性のあるタグ列を保証するように、クロスエントロピー損失を用いてエンドツーエンドでモデルを学習すること。
• アノテート済みデータからゴールドスタンダードのBPAタグ列を決定的手続きで生成し、構造的制約と整合性を保つこと。

実験結果

リサーチクエスチョン

• RQ1 パロント検出と位置特定を、単一のシーケンスラベルリングフレームワークで効果的に統合できるか？
• RQ2 最大1つのパロント/文という構造的制約を符号化するための提案されたBPAタギング方式が、性能向上に寄与するか？
• RQ3 位置情報（例：パロントが後半に現れる傾向）を組み込むことで、モデル性能にどのような影響を与えるか？
• RQ4 タスク特化型の調整なしに、1つのモデルが同義的および異義的パロントの両方で最先端の結果を達成できるか？
• RQ5 検出と位置特定の間での共同学習と情報共有が、全体の性能にどの程度寄与するか？

主な発見

• 提案されたBPAタギング方式は、1文に高々1つのパロントしか存在しないという構造的制約を効果的に強制し、推論時の曖昧さを低減した。
• 統合モデルは、同義的および異義的パロントの両タスクにおいて、ベンチマークデータセットで新たな最先端性能を達成した。
• 誤差解析の結果、40%の誤りがテストセットで未知の語に起因する低語彙カバレッジに起因しており、OOV一般化の主な課題であることが示された。
• 誤りの40%が検出誤りに起因しており、パロント検出の向上が依然として重要なブottleneckであることを示している。
• 文脈が限られている短い文（例："Superglue! Tom rejoined"）は、十分な文脈手がかりがないため、顕著な課題を呈する。
• 従来のシステムが1種類のパロント（同義的または異義的）に特化しているのに対し、本モデルは同義的および異義的パロントの両方に対して一般化性を示した。