[論文レビュー] Evaluating Semantic Rationality of a Sentence: A Sememe-Word-Matching Neural Network based on HowNet

Shu Liu, Jingjing Xu+2 more|arXiv (Cornell University)|Sep 11, 2018

Topic Modeling参考文献 19被引用数 5

ひとこと要約

本稿では、HowNetのセミメ知識ベースを活用して、語同士の微細な意味的適合性をモデル化することで、文の意味的整合性を評価するSememe-Word-Matching Neural Network（SWM-NN）を提案する。新しく構築された大規模データセット上で、ベースラインより5.4%の精度向上を達成し、セミメレベルの推論によって意味的違反の検出が向上することを示している。

ABSTRACT

Automatic evaluation of semantic rationality is an important yet challenging task, and current automatic techniques cannot well identify whether a sentence is semantically rational. The methods based on the language model do not measure the sentence by rationality but by commonness. The methods based on the similarity with human written sentences will fail if human-written references are not available. In this paper, we propose a novel model called Sememe-Word-Matching Neural Network (SWM-NN) to tackle semantic rationality evaluation by taking advantage of sememe knowledge base HowNet. The advantage is that our model can utilize a proper combination of sememes to represent the fine-grained semantic meanings of a word within the specific contexts. We use the fine-grained semantic representation to help the model learn the semantic dependency among words. To evaluate the effectiveness of the proposed model, we build a large-scale rationality evaluation dataset. Experimental results on this dataset show that the proposed model outperforms the competitive baselines with a 5.4\% improvement in accuracy.

研究の動機と目的

• 人間が書いたリファレンスが利用できない状況において、文が意味的に整合的かどうかを自動で検出する課題に対処すること。
• 文の一般的さを重視するが意味的整合性を無視する言語モデルベースの手法の限界を克服すること。
• 述語とその項の間の選択制限違反を検出するために、微細な意味的知識を活用する手法を開発すること。
• 文の意味的整合性検出（SSRD）のための大規模かつ人間がアノテートしたデータセットを構築すること。
• 語レベルとセミメレベルの表現を統合して、意味的適合性のモデル化を向上させること。

提案手法

• モデルは二本のブランチ構造を採用：一つは語レベル表現、もう一つはHowNetから得られるセミメレベル表現。
• 各語に対して、語の文脈とセミメ定義の間のマッチング機構を用いて、文脈に適したセミメを選択する。
• 選択されたセミメの整合性とアライメントを計算することで、語同士の意味的適合性を評価する。
• 最終的な整合性スコアは、ニューラルネットワーク分類器を用いて語レベルとセミメレベルの表現を統合することで得られる。
• モデルは、意味的整合性ラベルが付与された新規に構築されたデータセット上で、エンドツーエンドで訓練される。
• 文脈に応じてセミメの関連性を動的に重み付けるために、ソフトアテンション機構が用いられる。

実験結果

リサーチクエスチョン

• RQ1 人間が書いたリファレンスに依存せずに、ニューラルネットワークモデルが文の意味的整合性を効果的に検出できるか。
• RQ2 HowNetのセミメレベルの知識が、文の意味的不整合の検出をどの程度向上できるか。
• RQ3 語レベルや文レベルの表現と比較して、微細な意味的単位（セミメ）の統合は、整合性検出においてどのように効果を発揮するか。
• RQ4 意味的整合性評価において、人間の判断と自動化されたモデルとの間の性能差はどの程度か。
• RQ5 本手法で提案されたモデルは、選択制限エラーを含む、さまざまな種類の意味的違反に対してどの程度頑健か。

主な発見

• 提案されたSWM-NNモデルは、新規の大規模な整合性評価データセット上で、競合するベースラインより5.4%の絶対的な精度向上を達成した。
• 言語モデルベースの手法とは異なり、モデルはあまり使われないが意味的に整合的な文を誤って非合理的と判断する傾向が低く、優れた性能を示した。
• 特に困難なサブセット（dataset3）において、人間のアノテーターはモデルよりも高い精度を示しており、複雑な意味的制約をモデル化する余地があることを示している。
• モデルの性能はセミメ選択の質に敏感であることが判明し、文脈に適したセミメマッチングの重要性が強調された。
• アブレーションスタディの結果、語レベルとセミメレベルの表現の両方が最終予測に顕著に寄与しており、特に選択制限違反の検出においてセミメレベル特徴が顕著に有効であることが確認された。
• モデルは、誤った意味的役割や不適合な意味的特徴を含むさまざまな種類の意味的誤りに対しても、良好な汎化性能を示した。