[論文レビュー] Lexical Sememe Prediction using Dictionary Definitions by Capturing Local Semantic Correspondence

Jiaju Du, Fanchao Qi+2 more|arXiv (Cornell University)|Jan 16, 2020

Topic Modeling参考文献 31被引用数 4

ひとこと要約

本稿では、語彙的意味素と語の辞書定義間の局所的意味的対応を捉えることで、意味素を予測する新規モデルであるSememe Correspondence Pooling (SCorP) を提案する。対応スコアをモデル化し、マックスプーリングを適用することで、HowNet上で最先端の性能を達成し、語の頻度範囲にわたり高いロバスト性を示し、意味素と定義語との有効なアライメントを実現した。

ABSTRACT

Sememes, defined as the minimum semantic units of human languages in linguistics, have been proven useful in many NLP tasks. Since manual construction and update of sememe knowledge bases (KBs) are costly, the task of automatic sememe prediction has been proposed to assist sememe annotation. In this paper, we explore the approach of applying dictionary definitions to predicting sememes for unannotated words. We find that sememes of each word are usually semantically matched to different words in its dictionary definition, and we name this matching relationship local semantic correspondence. Accordingly, we propose a Sememe Correspondence Pooling (SCorP) model, which is able to capture this kind of matching to predict sememes. We evaluate our model and baseline methods on a famous sememe KB HowNet and find that our model achieves state-of-the-art performance. Moreover, further quantitative analysis shows that our model can properly learn the local semantic correspondence between sememes and words in dictionary definitions, which explains the effectiveness of our model. The source codes of this paper can be obtained from https://github.com/thunlp/scorp.

研究の動機と目的

• 手動による意味素知識ベース（KB）の構築・更新にかかる高コストを低減するため、自動的意味素予測を可能にする。
• 特に低頻度語に対して有効な、豊富でアクセス可能なリソースとしての辞書定義を活用する。
• 各意味素が語の定義内の特定の語に一致するような、局所的意味的対応を同定・活用することで、予測精度を向上させる。
• 意味素に人工的な順序を強制しないモデルを開発し、従来のアプローチにおける文字レベルの曖昧さに起因する問題を軽減する。

提案手法

• SCorPは、各意味素と語の辞書定義内のすべての語との間の意味的対応を、学習可能なスコアメカニズムを用いてモデル化する。
• 神経ネットワーク的なアテンションに類似したメカニズムを用いて対応スコアを計算し、各意味素について定義語の間でマックスプーリングを適用して、最も強いマッチングを集約する。
• モデルは語レベルの埋め込みを入力として用い、文字レベルの曖昧さを回避し、より良い表現学習を可能にする。
• 2つのリファァインメント操作を導入：定義語の意味素を統合し、ターゲット語の埋め込みを統合することで性能を向上させる。
• フレームワークはマルチラベル分類モデルであり、意味素予測をシーケンスから集合へのタスクとして扱い、シーケンス順序制約を回避する。
• モデルはHowNet上でクロスエントロピー損失を用いてエンドツーエンドで訓練され、リファァインメント手法を介してファインチューニングが可能である。

実験結果

リサーチクエスチョン

• RQ1 特に低頻度語に対して、辞書定義が意味素予測の向上に有効に活用できるか。
• RQ2 意味素と辞書定義内の個々の語との間に局所的意味的対応が存在するか、そしてその対応を活用することで予測精度が向上するか。
• RQ3 意味素と定義語との対応をモデル化するアプローチが、シーケンス・ツー・シーケンスまたは文字レベルのモデルと比較して、性能およびロバスト性においてどのように差をつけるか。
• RQ4 定義語の意味素を統合する操作とターゲット語の埋め込みを統合する操作の両方が、モデル性能にどの程度向上効果をもたらすか。

主な発見

• SCorPはHowNetの意味素予測ベンチマークで最先端の性能を達成し、シーケンス・ツー・シーケンスおよび文字レベルのモデルを含む既存手法を上回った。
• モデルは語の頻度範囲にわたり強くロバストであることが示され、低頻度語（頻度 < 50）に対しても高い性能を維持した。これに対してCSPは急激な低下を示した。
• 定量的分析により、SCorPが局所的意味的対応を効果的に学習していることが確認され、関連する定義語に対して正しい意味素が一貫して最高の対応スコアを達成した。
• 表5のケーススタディでは、モデルが『観測所』の上位意味素を、『場所』に対して『機関』という意味的に一致する語と対応させることで正しく同定した。
• 2つのリファァインメント操作は性能向上に顕著な効果を示し、最終モデルはベースラインモデルよりも高いF1スコアを達成した。
• アテンション風のアテンションマップと対応スコア分析を通じて、意味素と定義語との対応を捕捉できる能力がモデルによって裏付けられた。