[論文レビュー] Sememe Prediction: Learning Semantic Knowledge from Unstructured Textual Wiki Descriptions

Wei Li, Xuancheng Ren+4 more|arXiv (Cornell University)|Aug 16, 2018

Topic Modeling参考文献 15被引用数 20

ひとこと要約

本稿では、弱い順序付けされた多ラベル問題として扱うことで、非構造化されたウィキ記述から語彙的意味素を予測するためのラベル分散型seq2seqモデルLD-seq2seqを提案する。ソフト損失関数を用いることで、モデルはすべてのベースラインを上回り、テストセットの一部においてアマチュアの人類アノテーターでさえも上回る性能を示し、テキストベースのウィキコンテンツからの自動的意味的知識獲得の有効性を裏付けている。

ABSTRACT

Huge numbers of new words emerge every day, leading to a great need for representing them with semantic meaning that is understandable to NLP systems. Sememes are defined as the minimum semantic units of human languages, the combination of which can represent the meaning of a word. Manual construction of sememe based knowledge bases is time-consuming and labor-intensive. Fortunately, communities are devoted to composing the descriptions of words in the wiki websites. In this paper, we explore to automatically predict lexical sememes based on the descriptions of the words in the wiki websites. We view this problem as a weakly ordered multi-label task and propose a Label Distributed seq2seq model (LD-seq2seq) with a novel soft loss function to solve the problem. In the experiments, we take a real-world sememe knowledge base HowNet and the corresponding descriptions of the words in Baidu Wiki for training and evaluation. The results show that our LD-seq2seq model not only beats all the baselines significantly on the test set, but also outperforms amateur human annotators in a random subset of the test set.

研究の動機と目的

• ウィキページの非構造化されたテキスト記述から語彙的意味素を自動的に予測することで、スケーラブルな意味的知識獲得を可能にすること。
• NLPシステムにおける新しい語の構造的意味的意味を表現する課題に対処すること。
• 手作業による意味素ベースの知識ベースの構築に伴う制限を克服すること。これは時間のかかる作業であり、時代遅れになりがちである。
• コミュニティが生成したウィキコンテンツを、意味的知識のスケーラブルなソースとして活用すること。
• 弱いラベル順序のモデリングとラベル順序仮定への感受性の低減により、NLPにおける多ラベル予測を改善すること。

提案手法

• 意味素予測を弱い順序付けされた多ラベルタスクとして扱うラベル分散型seq2seq（LD-seq2seq）モデルを提案する。
• ワンホットラベルターゲットを確率分布に変換する新しいソフト損失関数を導入し、モデルが厳密なラベル順序に依存するのを軽減する。
• 複数のウィキソース（例：バイドウウィキ）からの記述を集約することで、より高い耐性とカバレッジを実現するマルチリソースエンコーダーを採用する。
• トレーニングおよび評価の基準として、HowNet意味素知識ベースを参照基準として用いる。
• 注意メカニズムを用いたシーケンス・ツー・シーケンス学習により、ウィキテキストから意味素シーケンスを生成する。
• 意味素の意味に該当する記述を関連付けるためのヒューリスティックな語義感覚アライメント手順を実装するが、論文ではこのステップの制限を指摘している。

実験結果

リサーチクエスチョン

• RQ1 非構造化されたウィキ記述は、語彙的意味素の自動予測に有効に活用できるか？
• RQ2 seq2seqモデルは、意味的知識獲得における弱い順序付けされた多ラベル予測をどのように処理できるか？
• RQ3 ウィキテキストでトレーニングされたニューラルモデルは、どの程度人間アノテーターを上回ることができるか？
• RQ4 意味素予測における主な失敗モードは何か。また、それらはどのように緩和できるか？
• RQ5 複数のウィキソースを統合することで、意味素予測の耐性および正確性はどのように向上するか？

主な発見

• LD-seq2seqモデルは、ソフト損失およびラベル分布アプローチの有効性を示し、意味素予測タスクにおいてすべてのベースラインモデルを顕著に上回る。
• モデルは、テストセットのランダムに選択されたサブセットにおいて、アマチュアの人間アノテーターの性能を上回る結果を示し、優れた一般化性能と耐性を示している。
• 誤差解析の結果、20.69％の誤りは、特に空間的または物理的位置を強調する記述において、誤った位置または文脈の不一致に起因していることが判明した。
• 多義性は17.24％の誤りを占めており、ウィキ記述がHowNetの参照意味素とは異なる意味を指している場合が多い。
• 複雑または長い記述（誤りの10.34％）は複数の意味を含むことが多く、ヒューリスティックなアライメントによりモデルが関連性の低い部分に注目してしまう。
• わずか3.45％の誤りは、意味的詳細が不足しているあまりに単純化されたウィキ記述に起因しており、正確な予測が困難である。