[論文レビュー] Graph Convolutional Networks based Word Embeddings.

Shikhar Vashishth, Prateek Yadav+4 more|arXiv (Cornell University)|Sep 12, 2018

Natural Language Processing Techniques被引用数 3

ひとこと要約

本稿では、語彙サイズの拡大を伴わずに構文的（依存）構造を活用して単語表現を学習するグラフ畳み込みネットワーク（GCN）ベースの手法、SynGCNを提案する。この手法は、内在的および外在的NLPタスクにおいて、既存手法を上回る性能を発揮する。さらに、多様な意味的知識を統合することで表現品質を向上させるSemGCNを導入し、再現可能性を高めるためにコードを公開している。

ABSTRACT

Word embeddings have been widely adopted across several NLP applications. Most existing word embedding methods utilize sequential context of a word to learn its embedding. While there have been some attempts at utilizing syntactic context of a word, such methods result in an explosion of the vocabulary size. In this paper, we overcome this problem by proposing SynGCN, a flexible Graph Convolution based method for learning word embeddings. SynGCN utilizes the dependency context of a word without increasing the vocabulary size. Word embeddings learned by SynGCN outperform existing methods on various intrinsic and extrinsic tasks and provide an advantage when used with ELMo. We also propose SemGCN, an effective framework for incorporating diverse semantic knowledge for further enhancing learned word representations. We make the source code of both models available to encourage reproducible research.

研究の動機と目的

• 従来の単語表現手法が順序的な文脈に依存するのみで構文的構造を効果的に統合できないという限界に対処すること。
• グラフ畳み込みネットワークを活用することで、構文に基づく単語表現手法における語彙の爆発問題を克服すること。
• 語彙サイズを拡大せずに構文的および意味的知識を単語表現に統合できる柔軟なフレームワークを構築すること。
• 提案されたモデルを用いて、内在的および外在的NLP評価タスクにおける性能を向上させること。
• SynGCNおよびSemGCNのソースコードを公開することで、再現可能な研究を促進すること。

提案手法

• SynGCNは各文に対して依存関係グラフを構築し、語をノード、構文的依存関係をエッジとして表現する。
• グラフ畳み込みネットワーク（GCN）を適用して、構文的近傍からの文脈情報を集約し、文脈に応じた単語表現を学習する。
• 従来の構文的アプローチとは異なり、新しい語形を導入しないため、元の語彙サイズを維持する。
• SemGCNは、外部の意味的知識源（例：WordNet、ConceptNet）をグラフ構造に統合することで、SynGCNを拡張する。
• 意味的知識はマルチソース・グラフアグリゲーションを介して統合され、より広範な意味的文脈が単語表現に反映される。
• 両モデルは標準的なNLP損失関数を用いてエンドツーエンドで訓練され、標準ベンチマーク上で性能が評価される。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みネットワークは、語彙サイズの拡大を伴わせずに、単語表現における構文的文脈を効果的に捉えることができるか？
• RQ2 順序的文脈のみに依存する場合と比較して、依存構造を統合することで単語表現の品質はどの程度向上するか？
• RQ3 グラフベースの手法を用いて統合された外部意味的知識が、単語表現にどの程度向上効果をもたらすか？
• RQ4 提案手法は、内在的および外在的評価タスクにおいて、既存の最先端モデルを上回る性能を発揮するか？
• RQ5 SynGCNおよびSemGCNは、ELMoのような文脈依存モデルと効果的に組み合わせられ、性能をさらに向上させることができるか？

主な発見

• SynGCNは語彙サイズの拡大を伴わずに、類似語推論や語の類似度評価といった複数の内在的評価タスクで最先端の性能を達成した。
• テキスト分類や名前付きエンティティ認識といった下流の外在的タスクにおいても、Skip-gram や GloVe といった強力なベースラインを一貫して上回った。
• ELMoと組み合わせた場合、SynGCNに基づく表現はさらに性能を向上させ、文脈依存モデルとの相性が良いことが示された。
• SemGCNは多様な意味的知識源を統合することで表現品質を顕著に向上させ、内在的および外在的ベンチマークの両方で性能向上を達成した。
• アブレーションスタディの結果、構文的構造および外部意味的知識の両方が最終的な表現に有意義な寄与をしていることが確認された。
• コードの公開により、再現性が確保され、今後のグラフベースの単語表現学習分野の研究を支援する。