[論文レビュー] Evaluation of Croatian Word Embeddings

Lukáš Svoboda, Slobodan Beliga|arXiv (Cornell University)|Nov 6, 2017

Natural Language Processing Techniques参考文献 16被引用数 5

ひとこと要約

この論文は、13.7億トークンのコーパスを用いて学習されたWord2VecおよびfastTextモデルを用いて、新しく作成されたデータセット（クロアチア語WordSim353、RG65、および115,085件の語の類推コーパス）を用いてクロアチア語の単語埋め込みを評価している。結果として、モデルは意味的な表現を生成できるものの、クロアチア語の高い屈曲的複雑性と自由な語順のため、英語に比べて性能が劣っていることが示された。これは、スラブ語における言語固有のモデル改善の必要性を浮き彫りにしている。

ABSTRACT

Croatian is poorly resourced and highly inflected language from Slavic language family. Nowadays, research is focusing mostly on English. We created a new word analogy corpus based on the original English Word2vec word analogy corpus and added some of the specific linguistic aspects from Croatian language. Next, we created Croatian WordSim353 and RG65 corpora for a basic evaluation of word similarities. We compared created corpora on two popular word representation models, based on Word2Vec tool and fastText tool. Models has been trained on 1.37B tokens training data corpus and tested on a new robust Croatian word analogy corpus. Results show that models are able to create meaningful word representation. This research has shown that free word order and the higher morphological complexity of Croatian language influences the quality of resulting word embeddings.

研究の動機と目的

• 自然言語処理におけるクロアチア語の単語埋め込みの評価リソースの不足に対処すること。
• 意味的および構文的評価のための言語固有の新規データセット（クロアチア語WordSim353、RG65、大規模な語の類推コーパス）を構築すること。
• 語順が自由で屈曲が著しいスラブ語としてのクロアチア語における、Word2VecとfastTextの性能を比較すること。
• 屈曲的複雑性と構文的柔軟性が、クロアチア語における単語埋め込みの質にどのように影響するかを調査すること。
• 今後の研究のための公開可能で、英語-クロアチア語の並列単語埋め込みデータセットを提供すること。

提案手法

• 115,085の質問を含む新しいクロアチア語の類推コーパスを構築し、意味的および構文的タイプに分類した。言語固有のカテゴリ（例：動詞-過去形-男性/女性、国籍-男性/女性）を含む。
• 既存の英語語彙的類似度データセット（WordSim353およびRG65）をクロアチア語に翻訳し、基本的な意味的評価を実施。
• クロアチア語Wikipediaから抽出した13.7億トークンの単語コーパスを用いて、Word2VecおよびfastTextモデルを学習。
• 新規類推コーパスおよび翻訳済み類似度データセットを用いてモデルを評価し、人的アノテーションとの相関を測定することで性能を測定。
• 都市-州、国-世界、通貨などのカテゴリを対象に、知識保持力および屈曲感受性を評価。
• 英語ベンチマークと比較することで、屈曲的および構文的差異に起因する性能格差を明らかにした。

実験結果

リサーチクエスチョン

• RQ1 新しく作成された包括的な類推コーパスを用いて、クロアチア語の単語埋め込みにおいてWord2VecとfastTextはどの程度の性能を示すか？
• RQ2 クロアチア語における高い屈曲的複雑性と自由な語順は、学習された単語表現の質にどの程度影響を及えるか？
• RQ3 クロアチア語における意味的および構文的類推タスクの性能は、英語と比較してどの程度か。特に過去形動詞や性別に基づく語のペアにおいては？
• RQ4 モデルはクロアチア語において国-都市および州-首都の関係を効果的に捉えられるか。また、学習データのカバレッジがこれにどのように影響するか？
• RQ5 語の形の頻度（例：男性形 vs. 女性形）は、性別および屈曲的類推タスクにおけるモデル性能にどのような役割を果たすか？

主な発見

• クロアチア語の類推コーパスは12のカテゴリに分かれており、合計115,085の質問を含む。うち36,880問が意味的、78,205問が構文的で、構文的および意味的関係の包括的評価が可能である。
• 構文的類推、特に過去形動詞ペアでは比較的高い性能を示した。これは、スラブ語が英語よりも規則的な屈曲パターンを持つ可能性を示唆している。
• 都市-州のような意味的カテゴリでは、関連する実体（例：クロアチアの都市）が学習データに含まれている場合に高い性能を示したが、米国州のような代表が不足しているトピックでは著しく性能が低下した。
• 通貨カテゴリでは、モデル全体で一貫して低い性能を示した。これは、抽象的またはレアな意味的関係をモデルがうまく捉えられていないことを示している。
• クロアチア語データで学習したモデルは、類似度タスク（WordSim353およびRG65）で英語の同等モデルに比べて相関スコアが低く、屈曲的複雑性に起因する性能格差があることが示された。
• 男性形の語の形の方が女性形よりも性能が高く、これは訓練データにおける男性形の頻度の高さに起因し、性別類推の正確性に影響を与えている。