[論文レビュー] Big Data Small Data, In Domain Out-of Domain, Known Word Unknown Word: The Impact of Word Representation on Sequence Labelling Tasks

Lizhen Qu, Gabriela Ferraro+4 more|arXiv (Cornell University)|Apr 21, 2015

Topic Modeling参考文献 37被引用数 23

ひとこと要約

この論文は、4つの系列ラベル付けタスク（品詞タギング、チャンク化、NER、MWE）において、Brownクラスタリングと4つのニューラル単語埋め込みを含む5つの単語表現手法を評価している。OOVおよびドメイン外の単語において、単語埋め込みとBrownクラスタリングが性能を著しく向上させることを明らかにした。また、学習中に埋め込みを更新しても得られる利益は限定的であり、過学習のリスクが伴うことが示された。さらに、どの埋め込み手法も全タスクで一貫して優れているわけではないことが判明した。

ABSTRACT

Word embeddings -- distributed word representations that can be learned from unlabelled data -- have been shown to have high utility in many natural language processing applications. In this paper, we perform an extrinsic evaluation of five popular word embedding methods in the context of four sequence labelling tasks: POS-tagging, syntactic chunking, NER and MWE identification. A particular focus of the paper is analysing the effects of task-based updating of word representations. We show that when using word embeddings as features, as few as several hundred training instances are sufficient to achieve competitive results, and that word embeddings lead to improvements over OOV words and out of domain. Perhaps more surprisingly, our results indicate there is little difference between the different word embedding methods, and that simple Brown clusters are often competitive with word embeddings across all tasks we consider.

研究の動機と目的

• 制御された条件下で、異なる単語表現手法が系列ラベル付けタスクに与える影響を評価すること。
• 特に少量の学習データがある状況において、単語埋め込みがワンホットユニグラムやBrownクラスタリングよりも一般化性能に優れているかどうかを調査すること。
• タスク固有の学習中に事前学習済み単語埋め込みを更新する影響が、性能およびベクトル表現空間の幾何学的性質に与える影響を評価すること。
• さまざまな表現手法における、語彙外語（OOV）およびドメイン外語のパフォーマンスを分析すること。
• 複数の系列ラベル付けタスクにおいて、常に他の手法を上回る単語埋め込み手法が存在するかどうかを特定すること。

提案手法

• 5つの単語表現手法を評価：Brownクラスタリング、Collobert & Weston (CW)、CBOW、Skip-gram、GloVe。
• すべての単語表現を、品詞タギング、チャンク化、NER、MWE抽出のCRFベースの系列ラベル付けモデルの入力特徴として使用した。
• 100件から完全な学習セットまで、さまざまな量のラベル付きデータを用いて学習させ、データ効率性を評価した。
• 更新実験では、バックプロパゲーションを用いて系列ラベル付けの学習中に単語埋め込みをファインチューニングしたが、他の手法は固定した。
• ドメイン内、ドメイン外、OOV語のサブセットに対して、標準指標（F1スコア、正答率）を用いて性能を測定した。
• 更新中のベクトル変化の幾何的分析を実施し、表現空間への影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 単語埋め込みとBrownクラスタリングは、系列ラベル付けタスクにおいてワンホットユニグラム特徴よりも優れているか？
• RQ2 RQ2: 単語埋め込みは、低リソース設定においても、大量のラベル付きデータを必要としなくてもよいようにすることができるか？
• RQ3 RQ3: タスク固有の学習中に事前学習済み単語埋め込みを更新する実効的および幾何学的影響は何か？
• RQ4 RQ4: 単語表現手法は、OOV語およびドメイン外データにおいて、どのように性能を示すか？
• RQ5 RQ5: 異なる系列ラベル付けタスクにおいて、常に優れた性能を示す単語埋め込み手法が存在するか？

主な発見

• 単語埋め込みとBrownクラスタリングは、ワンホットユニグラム特徴よりも顕著に優れており、特に学習データが限られた状況でも、100～200件程度のデータでも競争力のある結果が得られた。
• 学習中に単語埋め込みを更新しても、性能向上はわずかであり、特に低頻度語やOOV語において過学習のリスクが高まる。
• Brownクラスタリングは、4つのタスクすべてにおいてニューラル単語埋め込みとほぼ同等の性能を示し、強いインダクティブバイアスと頑健性を示している。
• 単語埋め込みとBrownクラスタリングの両方が、OOVおよびドメイン外語の性能を向上させたが、特に埋め込みを更新しない場合に最高の結果が得られた。
• どの単語埋め込み手法も、全タスクで一貫して他の手法を上回るとは限らず、Skip-gramは品詞タギングではわずかに優位であったが、一般化はできなかった。
• 著者らの最良モデルとSOTAシステムとの性能差は、モデルの複雑さ（例：1次元CRF対2次元CRF）やハイパーパrameterチューニングの差によるものであり、単語表現の選択によるものではない。