[論文レビュー] Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks

Nathan Siegle Hartmann, Erick Fonseca+4 more|arXiv (Cornell University)|Aug 20, 2017

Topic Modeling参考文献 13被引用数 91

ひとこと要約

本稿は、GloVe、Word2Vec、Wang2Vec、FastTextを用いて、ポルトガル語（ブラジル Portuguese-BR と ヨーロッパ Portuguese-EU）向けに31個の語彙埋め込みモデルを訓練し、アナロジーで内在評価を行い、品詞タグ付けと文の類似性で外在評価を行う。これにより、アナロジーが下流タスクの性能を十分に予測しないこと、Wang2Vecが全体的に強い結果を示すことが示された。

ABSTRACT

Word embeddings have been found to provide meaningful representations for words in an efficient way; therefore, they have become common in Natural Language Processing sys- tems. In this paper, we evaluated different word embedding models trained on a large Portuguese corpus, including both Brazilian and European variants. We trained 31 word embedding models using FastText, GloVe, Wang2Vec and Word2Vec. We evaluated them intrinsically on syntactic and semantic analogies and extrinsically on POS tagging and sentence semantic similarity tasks. The obtained results suggest that word analogies are not appropriate for word embedding evaluation; task-specific evaluations appear to be a better option.

研究の動機と目的

• バリアント（PT-BR および PT-EU）を横断する頑健なポルトガル語表現の必要性を動機づける。
• 研究用途のための大規模で公開可能なポルトガル語語彙埋め込みモデルを提供する。
• 埋め込みの内在的（アナロジー）と外在的（POSタグ付け、文の類似性）性能を評価する。
• コーパスサイズとモデル選択が下流タスクの埋め込み品質に与える影響を調査する。

提案手法

• 4つのアルゴリズム（GloVe、Word2Vec、Wang2Vec、FastText）を用いて31個の語彙埋め込みモデルを訓練した。
• PT-BR と PT-EU のテキストを組み合わせた大規模な多ジャンルのポルトガル語コーパスを構築した。
• PT-BR および PT-EU の語彙埋め込みを統計的・意味的アナロジーの内在的評価で評価した。
• POSタグ付けと文の意味的類似性タスクで埋め込みを外在的に評価した。
• 各モデルについて50、100、300、600、1000の多様な次元を検討した。

実験結果

リサーチクエスチョン

• RQ1 異なるポルトガル語語彙埋め込みモデル（PT-BR と PT-EU across） は、内在的アナロジータスクと外在的NLPタスクでどのように性能が異なるか。
• RQ2 ポルトガル語での内在的アナロジー結果は、POSタグ付けや文の類似性といった下流タスクと相関するか。
• RQ3 どのモデリング手法（GloVe、Word2Vec、Wang2Vec、FastText）とどの次元が、バリアント間でのポルトガル語処理を最も良くサポートするか。
• RQ4 単一の大規模コーパスでブラジル語と欧州語を混合することは、下流タスクの性能を改善するか、それとも妨げるか。

主な発見

• GloVe は、PT-BR および PT-EU の両方の変種で、内在的な統語・意味アナロジー評価において一般的に最も良い性能を示す。
• FastText は統語的アナロジーで強い性能を示し、Wang2Vec は語順の処理に強く、全体的には優れた結果を出すことが多い。
• 意味的アナロジーでは GloVe が先導し、Wang2Vec は競合的な結果を提供する。
• 外在的な POS タグ付けでは、Wang2Vec（特に 300 次元の Skip-Gram）が最高の正確度を達成することが多く、Word2Vec や他の手法を上回ることもある。
• 意味的類似性（ASSIN タスク）では、最良の埋め込み結果がアナロジーの性能と必ずしも一致せず、内在的アナロジーと下流NLPタスクの相関が乏しいことを示している。
• 総じて、本研究はアナロジーに基づく評価が実際のNLPタスクの埋め込み選択に信頼性を与えない可能性を示しており、タスク特異的な評価が推奨される。