[論文レビュー] Modeling Semantic Compositionality with Sememe Knowledge

Fanchao Qi, Junjie Huang+5 more|arXiv (Cornell University)|Jul 10, 2019

Natural Language Processing Techniques参考文献 39被引用数 7

ひとこと要約

本稿では、語彙的意味単位（sememe）知識ベースであるHowNetを活用することで、最初のマルチワード表現（MWE）表現学習のためのsememe統合モデルを提案する。構成関数にsememeレベルの意味的知識を統合することにより、SCASおよびSCMSAモデルは内挿的および外挿的評価の両方で顕著な性能向上を達成し、sememeが意味的構成性を効果的に捉え、MWE表現学習を向上させることを示している。

ABSTRACT

Semantic compositionality (SC) refers to the phenomenon that the meaning of a complex linguistic unit can be composed of the meanings of its constituents. Most related works focus on using complicated compositionality functions to model SC while few works consider external knowledge in models. In this paper, we verify the effectiveness of sememes, the minimum semantic units of human languages, in modeling SC by a confirmatory experiment. Furthermore, we make the first attempt to incorporate sememe knowledge into SC models, and employ the sememeincorporated models in learning representations of multiword expressions, a typical task of SC. In experiments, we implement our models by incorporating knowledge from a famous sememe knowledge base HowNet and perform both intrinsic and extrinsic evaluations. Experimental results show that our models achieve significant performance boost as compared to the baseline methods without considering sememe knowledge. We further conduct quantitative analysis and case studies to demonstrate the effectiveness of applying sememe knowledge in modeling SC. All the code and data of this paper can be obtained on https://github.com/thunlp/Sememe-SC.

研究の動機と目的

• 意味的構成性（SC）を自然言語で効果的にモデル化できるかどうかを調査すること。
• MWE表現学習を向上させるためにsememe知識を統合した新しいニューラルモデルを開発すること。
• 内挿的および外挿的評価を通じて、sememeベースの知識のSCへの有効性を評価すること。
• sememeがMWEにおける多義性および構成的意味をどのように捉えるかを探索すること。
• 再現可能性および今後の研究のためのオープンソースコードとデータを提供すること。

提案手法

• MWEとその構成要素間の構成性の度合いを定量化するため、sememeベースの意味的構成性度（SCD）計算式を提案する。
• sememe知識をMWE埋め込み学習に統合する2つの新規モデル—集約sememeを用いた意味的構成性（SCAS）および相互sememe注意を用いた意味的構成性（SCMSA）—を設計する。
• sememe知識のソースとしてHowNetを用い、語をそのsememeアノテーションにマッピングすることで語表現を豊かにする。
• sememe埋め込みを注意機構および集約層に統合し、意味的構成性をより効果的にモデル化する。
• sememeアノテーション付きのMWEとその構成要素を用いて、内挿的および外挿的タスクを最適化するように、モデルをエンドツーエンドで訓練する。
• 確認実験を実施し、sememeベースのSCDが人間によるアノテーションの構成性度と強く相関していることを検証する。

実験結果

リサーチクエスチョン

• RQ1 sememeベースの意味的構成性度（SCD）計算は、人間による構成性評価と強く相関するか？
• RQ2 sememe知識はMWE表現学習をどの程度効果的に向上できるか？
• RQ3 外部知識を無視するベースラインモデルと比較して、sememe統合モデルはMWE表現タスクで優れた性能を示せるか？
• RQ4 sememe知識はMWEにおける多義性および構成的意味をどの程度効果的にモデル化できるか？
• RQ5 sememeベースのモデルは2つ以上の構成要素を持つMWEや他の言語に対しても一般化可能か？

主な発見

• sememeベースのSCD計算式は、人間によるアノテーションの構成性度と高い相関（r = 0.87）を示し、sememeが意味的構成性のモデル化に有効であることを検証した。
• SCASおよびSCMSAモデルは内挿的評価で顕著な性能向上を達成し、SCDベンチマークではベースラインを最大6.2%のF1スコアで上回った。
• 外挿的評価では、MWE類似度や分類などの下流タスクにおいて、sememe統合モデルがMWE表現品質を4.8–7.1%向上させた。
• 事例研究により、モデルがMWEおよびその構成要素の関連するsememeを正しく予測でき、ginseng（参）のような多義語を含む場合でも正確な意味的構成が実現していることが確認された。
• 定量的分析から、sememe注意機構が意味的に関連するコンポonentを効果的に注目しており、モデルの解釈可能性と性能が向上していることが示された。
• モデルは多義語や複雑なMWEに対しても良好に一般化でき、sememe知識がより良い意味的解釈と構成性モデリングを可能にした。