[論文レビュー] Language Modeling with Sparse Product of Sememe Experts

Yihong Gu, Jun Yan+6 more|arXiv (Cornell University)|Oct 29, 2018

Topic Modeling参考文献 34被引用数 6

ひとこと要約

本稿では、HowNetの語彙的意味素知識をスパースな意味素エキスパートの積として統合することで、ニューラル言語モデルを強化する新しい手法である意味素駆動型言語モデリング（SDLM）を提案する。語の予測を意味素レベルの意味的エキスパートを通じてモデリングすることにより、性能と解釈可能性の両方を向上させ、階層的な意味素-意味解釈-語生成プロセスを用いて中国語の言語モデリングおよび見出し生成タスクで最先端の結果を達成した。

ABSTRACT

Most language modeling methods rely on large-scale data to statistically learn the sequential patterns of words. In this paper, we argue that words are atomic language units but not necessarily atomic semantic units. Inspired by HowNet, we use sememes, the minimum semantic units in human languages, to represent the implicit semantics behind words for language modeling, named Sememe-Driven Language Model (SDLM). More specifically, to predict the next word, SDLM first estimates the sememe distribution gave textual context. Afterward, it regards each sememe as a distinct semantic expert, and these experts jointly identify the most probable senses and the corresponding word. In this way, SDLM enables language models to work beyond word-level manipulation to fine-grained sememe-level semantics and offers us more powerful tools to fine-tune language models and improve the interpretability as well as the robustness of language models. Experiments on language modeling and the downstream application of headline gener- ation demonstrate the significant effect of SDLM. Source code and data used in the experiments can be accessed at https:// github.com/thunlp/SDLM-pytorch.

研究の動機と目的

• 従来の言語モデルが語を原子的単位として扱い、微細な意味構造をモデル化しないという制限を解消すること。
• HowNetの意味素アノテーションから得られる明示的な意味知識を統合することで、モデルの解釈可能性とロバスト性を向上させること。
• 語レベルのパターンを超えて、意味素レベルの意味を中間エキスパートとして活用することで、ニューラル言語モデルを構築すること。
• 意味素駆動型モデリングの有効性を、言語モデリングおよび要約的テキスト生成タスクの両方で実証すること。

提案手法

• モデルはまず、文脈エンコーダーを用いて与えられた文脈に対する意味素の分布を推定する。
• 各意味素を別個の意味的エキスパートとして扱い、最も確率の高い語の意味を特定するスパースなエキスパートの積のメカニズムを用いる。
• 最終的な語の分布は、予測された意味の分布の周辺化によって計算され、各意味は意味素-語マッピングを通じて語にリンクされる。
• HowNetの階層的構造を活用して意味素と意味を整理し、デコードプロセスにおける構造的な意味的推論を可能にする。
• 言語モデリングおよび見出し生成の目的関数に対して交差エントロピー損失を用いて、エンドツーエンドでモデルを訓練する。
• 意味素予測と語生成を統合的かつ解釈可能なパイプラインとして統合した、新しいデコード戦略を導入する。

実験結果

リサーチクエスチョン

• RQ1 HowNetの明示的な意味知識を統合することで、中国語テキスト生成タスクにおけるニューラル言語モデルの性能が向上するか。
• RQ2 語レベルのモデリングと比較して、意味素レベルで言語生成をモデリングすることで、解釈可能性とロバスト性がどのように向上するか。
• RQ3 スパースな意味素エキスパートの積が、語の予測に向けた微細な意味的違いを効果的に捉え、活用できるか。
• RQ4 リソースが限られた状況や曖昧な文脈下での言語生成において、意味素に配慮したモデリングがどの程度性能を向上させるか。
• RQ5 HowNetにおける意味素の階層的構造が、言語モデリングにおける一般化性能をどのように向上させるか。

主な発見

• SDLMは、人民日報中国語言語モデリングデータセットで、すべてのデータ駆動型ベースラインモデルを上回る最先端の性能を達成した。
• LCSTSデータセットにおける見出し生成タスクで顕著な改善を示し、要約的生成品質の向上を裏付けた。
• 事例研究により、SDLMが文脈から関連する意味素を効果的に予測できることを確認し、解釈可能性と意味的推論能力の妥当性を検証した。
• 意味素知識の統合により、特に金融テキストにおける通貨単位の区別など、曖昧な文脈でもよりロバストな予測が可能になった。
• スパースなエキスパートの積のメカニズムにより、効率的かつ正確な意味選択が可能となり、各意味素エキスパートが特定の語の予測サブセットに集中して貢献した。
• 意味素レベルでの意味の明確化により、希少語や多義語の処理においても強力な一般化性能を示した。