[論文レビュー] Simple Models for Word Formation in English Slang

Vivek Kulkarni, William Yang Wang|arXiv (Cornell University)|Apr 7, 2018

Natural Language Processing Techniques参考文献 21被引用数 5

ひとこと要約

本稿では、言語的制約と系列モデルを用いて、英語スラングにおける3つの主要な語形成現象—ブレンド、カット語、レドゥプリケーション—のためのシンプルでデータ駆動型の生成モデルを提案する。これらのモデルは、特にレドゥプリケーション生成において最先端の性能を達成し、ゴールドスタンダードデータセットにおいて、平均逆順位（MIR）でベースラインを最低8パーセンテージポイント以上上回った。

ABSTRACT

We propose generative models for three types of extra-grammatical word formation phenomena abounding in English slang: Blends, Clippings, and Reduplicatives. Adopting a data-driven approach coupled with linguistic knowledge, we propose simple models with state of the art performance on human annotated gold standard datasets. Overall, our models reveal insights into the generative processes of word formation in slang -- insights which are increasingly relevant in the context of the rising prevalence of slang and non-standard varieties on the Internet.

研究の動機と目的

• ブレンド、カット語、レドゥプリケーションの3つの主要なスラング語形成プロセスのためのシンプルで解釈可能な生成モデルを開発すること。
• 音声的類似性や構造的パターンなどの言語的制約をデータ駆動型モデルに統合し、正確性と解釈可能性を向上させること。
• スラング語形成のための人間アノテート済みゴールドスタンダードデータセットで最先端の性能を達成すること。
• 研究を促進するため、モデルとデータセットを公開すること。
• インターネット上での非標準的・進化し続ける言語形態の背後にある生成メカニズムについての知見を提供すること。

提案手法

• 複雑なエンコーダデコーダアーキテクチャを避けるために、軽量なLSTMを用いた系列ラベル付け問題としてブレンドをモデル化する。
• 音声的制約と構造的ルールを組み込んだ、確率的生成モデルをカット語およびレドゥプリケーション用に開発する。
• 特定のカット語タイプ（前方、後方、複合）およびレドゥプリケーションパターン（例：母音/子音の入れ替え）の尤度を捉えるために条件付き確率モデルを適用する。
• レドゥプリケーション生成におけるモデル性能を評価するために平均逆順位（MIR）指標を用い、ベースラインと比較する。
• モデル設計において、Mattiello（2013）の言語的知見を活用して構造的および音声的制約を定義する。
• 再現可能性とベンチマークの確保のため、人間がアノテート済みのタイプを備えた、キュレートされたスラング語データセットを用いてモデルを学習および評価する。

実験結果

リサーチクエスチョン

• RQ1 シンプルで解釈可能なモデルは、英語スラングにおけるブレンド、カット語、レドゥプリケーションを効果的に生成できるか？
• RQ2 音声的類似性や構造的パターンなどの言語的制約は、生成モデルの性能をどの程度向上させ得るか？
• RQ3 系列ラベル付けアプローチは、ブレンド生成において、複雑な系列対系列モデルを上回る性能を発揮できるか？
• RQ4 カット語およびレドゥプリケーション用の生成モデルは、ベースラインと比較して、現実のスラングパターンをどの程度正しく捉えられるか？
• RQ5 レドゥプリケーションモデルの推定確率分布から、どのような言語的パターンが浮き彫りになるか？

主な発見

• レドゥプリケーション生成のための提案モデルは、平均逆順位（MIR）0.86を達成し、最良のベースライン（Let）を最低8パーセンテージポイント以上上回った。
• モデルは、最も一般的なレドゥプリケーションタイプとして、Duplicate、VowelEx、ConExを特定し、'i'が頻繁に'a'や'o'に置き換えられることを示した。
• 子音の't'が'w'や'l'に置き換えられる可能性が顕著に高く、'teenie-weenie'のような形で観察された。
• ブレンド生成モデルは、LSTMを用いたシンプルな系列ラベル付けアプローチにより、複雑なエンコーダデコーダフレームワークを必要とせずに、競争力のある性能を達成した。
• カット語モデルはオラクル上限値から性能差を示しており、ストレスパターンのようなより深い言語的手がかりを統合することで改善の余地があることを示唆した。
• これらのモデルはシンプルで解釈可能であり、一般化性能が高く、コードとデータセットを公開して再現性を確保した。