[論文レビュー] Incorporating Chinese Characters of Words for Lexical Sememe Prediction

Huiming Jin, Hao Zhu+5 more|arXiv (Cornell University)|Jun 17, 2018

Topic Modeling参考文献 32被引用数 4

ひとこと要約

本稿は、中国語の語彙的意味素予測のためのキャラクターエンrichド意味素予測フレームワーク（CSP）を提案する。このフレームワークは、内部の文字レベル情報と外部のコンテキスト埋め込みを統合する。新しいモデルであるSPWCFとSPCSEを活用することで、CSPはHowNetで最先端の性能を達成し、特に低頻度語や未知語に対する予測精度を顕著に向上させる。これは、実世界の意味素アノテーションの場面において、頑健性と有効性を示している。

ABSTRACT

Sememes are minimum semantic units of concepts in human languages, such that each word sense is composed of one or multiple sememes. Words are usually manually annotated with their sememes by linguists, and form linguistic common-sense knowledge bases widely used in various NLP tasks. Recently, the lexical sememe prediction task has been introduced. It consists of automatically recommending sememes for words, which is expected to improve annotation efficiency and consistency. However, existing methods of lexical sememe prediction typically rely on the external context of words to represent the meaning, which usually fails to deal with low-frequency and out-of-vocabulary words. To address this issue for Chinese, we propose a novel framework to take advantage of both internal character information and external context information of words. We experiment on HowNet, a Chinese sememe knowledge base, and demonstrate that our framework outperforms state-of-the-art baselines by a large margin, and maintains a robust performance even for low-frequency words.

研究の動機と目的

• 既存の語彙的意味素予測手法が外部コンテキストに依存するため、低頻度語や未知語では失敗することへの制限を是正すること。
• 中国語語の内部の文字レベル情報の統合を検討し、意味素予測の補完的意味的知識源としての可能性を追求すること。
• 内部（文字レベル）と外部（コンテキスト）の両方の情報を統合した統一フレームワークを構築し、意味素予測性能の向上を図ること。
• 提案手法の有効性と頑健性を、実世界のデータ、特にHowNetにおけるレア語や未学習語に対して評価すること。

提案手法

• 語彙的意味素予測のための新しいフレームワーク、キャラクターエンrichド意味素予測（CSP）を提案。外部コンテキスト埋め込みと内部文字埋め込みを同時にモデル化する。
• 文字レベル表現を用いて意味的に関連する文字特徴をフィルタリングすることで、語レベル埋め込みを精緻化する、語から文字へのフィルタリングを用いた意味素予測（SPWCF）を導入。
• 個々の文字の意味的寄与とそれらの組み合わせをモデル化し、意味素を予測する、文字と意味素埋め込みを用いた意味素予測（SPCSE）を開発。
• 二本のブランチアーキテクチャを採用：一方のブランチは語レベルのコンテキスト埋め込み（SPWEおよびSPSEに基づく）から学習し、もう一方は文字レベル表現から学習。後者ではアンサンブル学習による遅延統合を実施。
• 大規模コーパスで事前学習された語と文字の埋め込みを用い、文字レベル表現はサブワードユニットまたは語彙素分解から導出。
• 協調フィルタリングおよび行列分解技術を適用し、文字レベルの事前知識を統合することで、一般化性能を向上。

実験結果

リサーチクエスチョン

• RQ1 中国語語の内部の文字レベル情報が、特に低頻度語や未知語において語彙的意味素予測性能を向上させ得るか。
• RQ2 文字レベルの意味構造と外部コンテキスト埋め込みの統合が、意味素予測の精度と頑健性に与える影響は何か。
• RQ3 レア語や未学習語において、コンテキスト信号が欠如している場合に、文字レベルの知識がどの程度補填可能か。
• RQ4 提案フレームワークは、HowNetにおける異なる語の頻度分布において一貫した性能を維持できるか。
• RQ5 文字レベルのモデリングは、コンテキストから単独で推定できない意味的に意味のある要素（例：『铁』が『鉄』を意味する）を捉えられるか。

主な発見

• CSPフレームワークは、HowNetの意味素予測ベンチマークで最先端の性能を達成し、既存のベースラインを顕著に上回っている。
• 全語の頻度帯にわたり安定したMAPスコアを維持しており、低頻度語や希少語への一般化性能が優れていることが示された。
• 複合語『钟表匠』（時計職人）の事例では、外部モデルのみでは『时间』（時間）や『用具』（道具）の意味素を正しく推薦できないが、CSPは文字レベルの推論により『时间』と『工具』（道具）を正しく推定した。
• 表音語の『奥斯卡』（オスカー）では、内部モデルが正しく『专』（固有名）と『地方』（場所）を特定しており、文字レベルの知識が借用語における語彙的パターンを捉えていることを示している。
• 事例研究により、文字レベル情報が予測プロセスに効果的に統合されており、コンテキスト埋め込みが誤解を招く場合でも、正確な意味素推論が可能であることが確認された。
• アンサンブルモデル（CSP）が最高の性能を示し、内部信号と外部信号を統合することで、単独のモダリティに比べて優れた結果が得られることを示した。