[論文レビュー] A Joint Model for Word Embedding and Word Morphology

Kris Cao, Marek Rei|arXiv (Cornell University)|Jun 8, 2016

Topic Modeling参考文献 23被引用数 6

ひとこと要約

この論文では、文脈の予測力に基づいて語の部分に重みを付けることで、単語埋め込みと語彙的解析を同時に学ぶ共同モデルを提案する。構文的類推タスクでは単語レベルのモデルを上回り、特にまれで構文的に複雑な語に対して、文字レベルでの形態論的構造の明示的モデリングにより、より優れた埋め込みを生成する。

ABSTRACT

This paper presents a joint model for performing unsupervised morphological analysis on words, and learning a character-level composition function from morphemes to word embeddings. Our model splits individual words into segments, and weights each segment according to its ability to predict context words. Our morphological analysis is comparable to dedicated morphological analyzers at the task of morpheme boundary recovery, and also performs better than word-based embedding models at the task of syntactic analogy answering. Finally, we show that incorporating morphology explicitly into character-level models help them produce embeddings for unseen words which correlate better with human judgments.

研究の動機と目的

• まれな語や未知語に対して単語埋め込みモデルのスパarsity問題を、形態論を明示的にモデリングすることで解決すること。
• 語を原子的単位として扱う制限を克服し、語素からの構成的表現を学ぶこと。
• 文字レベルのモデリングと形態論的分割を組み合わせることで、未観測語への一般化を向上させること。
• 形態論と埋め込みの共同学習が、埋め込み空間における意味的・構文的規則性を向上させることを示すこと。
• モデルの性能を形態論的アナライザーとしての能力と、形態的に豊富なまれな語への一般化能力の両面で評価すること。

提案手法

• モデルは入力語を候補となる部分に分割し、それぞれの部分が周囲の文脈語を予測する能力に基づいて重みを付与する。
• 語の表現は、微分可能かつ注意メカニズムを用いて重み付き語素部分を組み合わせることで形成される。
• モデルは文脈語の尤度を最大化するようにエンドツーエンドで学習され、分布仮説を活用する。
• 外部の形態論的アナライザーを必要とせず、モデルは自己教師ありかつ言語に依存しない形で形態論的分割を学ぶ。
• アーキテクチャは文字レベルの表現を用い、バックプロパゲーションが部分境界を通過できる微分可能な分割メカニズムを備える。
• 学習後、モデルは未観測語を既知の語素に分解し、それらの埋め込みを組み合わせることで一般化できる。

実験結果

リサーチクエスチョン

• RQ1 外部の形態論的アナライザーに依存せずに、意味的な形態論的分割を共同モデルが学習できるか？
• RQ2 文字レベルのモデルにおいて形態論を明示的にモデリングすることで、標準的な文字レベルモデルと比較して構文的類推タスクのパフォーマンスが向上するか？
• RQ3 語彙的に豊富でまれな語に対して、モデルの一般化性能は単語レベルおよび文字レベルのベースラインと比べてどの程度優れているか？
• RQ4 形態論的接尾語が学習済み埋め込み空間内で線形なベクトルシフトに対応する程度はどの程度か？
• RQ5 モデルの語の分割能力が、人間の形態論的構造に関する判断とどの程度相関しているか？

主な発見

• モデルは、特に形態論的に豊富な語において、専用の形態論的アナライザーと同等の語素境界回復精度を達成する。
• Google類推データセットでは、構文的類推（例：形容詞から副詞）において競争力のある性能（51.3%の正答率）を示し、文字レベルのベースラインを上回る。
• 意味的類推においては、単語レベルのモデルと比較して性能が劣るが、深い意味的関係の把握に限界があることが示唆される。
• 標準的な文字レベルモデルと比較して、未観測語の埋め込みがより優れており、人間の判断との相関性も向上する。
• まれな語を除外した場合、形態論的に複雑な語の近傍語が埋め込み空間でより意味的に整合性を持つようになるため、まれな語の表現に表記バイアスが存在することが示唆される。
• モデルは接頭語・接尾語が埋め込み空間内で線形なシフトに対応することを学習しており、形態論的規則性を捉える能力があることが示された。