[論文レビュー] Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation

Ling Wang, Tiago Luís+6 more|arXiv (Cornell University)|Aug 9, 2015

Topic Modeling参考文献 28被引用数 132

ひとこと要約

本稿では、語彙検索テーブルに依存せずに語の表現を生成するため、双方向LSTMを用いた文字レベルの構成的モデルを提案する。共有でパrameter効率の良いアーキテクチャを通じて文字ベクトルを合成することで、言語モデルと品詞タグ付けにおいて最先端の性能を達成し、特に語形に豊かな言語において顕著である。また、最小限のパラメータで未観測語へのゼロショット一般化を可能にする。

ABSTRACT

We introduce a model for constructing vector representations of words by composing characters using bidirectional LSTMs. Relative to traditional word representation models that have independent vectors for each word type, our model requires only a single vector per character type and a fixed set of parameters for the compositional model. Despite the compactness of this model and, more importantly, the arbitrary nature of the form-function relationship in language, our "composed" word representations yield state-of-the-art results in language modeling and part-of-speech tagging. Benefits over traditional baselines are particularly pronounced in morphologically rich languages (e.g., Turkish).

研究の動機と目的

• 従来の語彙検索テーブルでは未学習語に一般化できないこと、かつ大規模なパラメータ数を要することの課題を解決すること。
• 言語における複雑で非構成的（non-compositional）な形態–機能関係を、文字レベルの合成によってモデル化すること。
• 語形が著しく変化するような語形に豊かな言語における効果的な語表現学習を可能にすること。
• 語レベルの埋め込みを文字レベルの構成的モデリングに置き換えることで、モデルサイズの縮小と一般化性能の向上を図ること。
• 双方向LSTMによる文字レベルの合成が、語形の規則性と特異な語彙的パターンの両方を捉えることができることを示すこと。

提案手法

• モデルは、各語の文字列を処理するための双方向LSTMを用い、文字レベルの埋め込みから文脈に適した語の表現を生成する。
• 各文字タイプは学習可能なベクトルに紐付けられ、LSTMのパラメータは形態論的知識と語彙的知識を同時に統合的に符号化する。
• 語の表現は、文字列を双方向LSTMに通し、最終的な隠れ状態を統合して1つのベクトル表現を生成することで得られる。
• 語彙検索テーブルを完全に回避し、文字ベクトルと固定されたLSTMパラメータのみに依存することで、パrameter効率を実現する。
• アーキテクチャは、言語モデルとPOSタグ付けのタスクでエンドツーエンドに訓練され、すべての語でパラメータを共有する。
• 表記的に離れている語、例えば「October」と「January」のような語であっても、意味的・構文的に類似した表現を学習することができる。

実験結果

リサーチクエスチョン

• RQ1 文字レベルの構成的モデルは、従来の語彙検索テーブルに比べ、言語モデルとPOSタグ付けで優れた性能を示せるか？
• RQ2 語レベルの埋め込みを明示的に用いずに、文字ベースのモデルは未学習語にどの程度一般化できるか？
• RQ3 トルコ語のような語形に豊かな言語において、モデルは語形の規則性をどの程度正しく捉えられるか？
• RQ4 文字列のみに依存するにもかかわらず、非構成的（non-compositional）な形態–機能関係を学習できるか？
• RQ5 語彙検索テーブルの欠如が、より高いパラメータ効率と一般化性能をもたらすか？

主な発見

• 品詞タグ付けにおいて最先端の性能を達成し、英語のPenn Treebankでも新たな最良結果を記録した。
• 語形に豊かな言語、特にトルコ語において顕著な性能向上が見られ、ベースラインを大幅に上回った。
• 表記的に離れている語、例えば「October」と「January」のような語に対しても、意味的・構文的に類似した表現を生成した。これは機能的類似性の学習を示している。
• 従来の語彙検索テーブルの数分の1のパラメータでさえ、言語モデルとPOSタグ付けの両方で同等またはそれを上回る性能を達成した。
• 「Frenchification」のような未学習語に対しても、既知の文字コンポーネントを合成することで効果的に一般化でき、ゼロショット能力を示した。
• モデルは規則的な語形パターンと特異な語彙的形態の両方を成功裏に捉えており、非構成的（non-compositional）な形態–機能対応に対しても頑健であることが示された。