[論文レビュー] Word Embeddings from Large-Scale Greek Web Content

Stamatis Outsios, Konstantinos Skianis+3 more|arXiv (Cornell University)|Oct 8, 2018

Natural Language Processing Techniques参考文献 3被引用数 8

ひとこと要約

本論文では、2000万件のギリシャ語ウェブページから構成される50GBのコーパスを用いて、サブワード情報も含めたFastTextで訓練された、初めての大規模なギリシャ語単語埋め込みを提示する。主な貢献は、意味的関係、類似性、類推、t-SNE可視化のインタラクティブな探索が可能なライブWebツールを備えた、公開可能で高品質なリソースを提供することである。

ABSTRACT

Word embeddings are undoubtedly very useful components in many NLP tasks. In this paper, we present word embeddings and other linguistic resources trained on the largest to date digital Greek language corpus. We also present a live web tool for testing the Greek word embeddings, by offering "analogy", "similarity score" and "most similar words" functions. Through our explorer, one could interact with the Greek word vectors.

研究の動機と目的

• 2000万件のギリシャ語ウェブページをクロールすることで、自然言語処理（NLP）用に最大規模の公開可能なギリシャ語コーパスを作成すること。
• 大規模でクリーニング済みのコーパスを用いて、サブワードモデリングを組み込んだFastTextによる高品質なギリシャ語単語埋め込みを開発すること。
• 意味的関係、類似性、類推、クラスタリングを含む、ギリシャ語単語ベクトルのインタラクティブな探索を可能にするライブWebベースのツールを提供すること。
• 後続のNLPタスク用にn-gram、ストップワードリスト、語彙などの言語的リソースを提供すること。
• Webインターフェース上でt-SNEとk-meansクラスタリングを用いて、意味的関係の可視化を可能にすること。

提案手法

• 45日間にわたりHeritrixを用いて2000万件のギリシャ語URLをクロールし、保存のためWARC形式に格納した。
• Boilerplate、BeautifulSoup、Justextといった複数のライブラリを用いてテキストを前処理し、ボイラープレートやギリシャ語でないコンテンツを除去した。
• ドメインごとの重複除去処理を実施し、コーパスサイズを75%削減。これにより、約50GBのクリーンテキストが得られ、30億トークンと1億1800万件の固有文が含まれた。
• minCount=11およびネガティブサンプリングを最適化した300次元ベクトルを用いた、複数のFastTextおよびgensimベースのスキップグラムモデルを訓練した。
• Flaskを基盤とし、JinjaおよびBootstrapを用いて、t-SNE次元削減とk-meansクラスタリングを用いたベクトルエクスプローラーをホスティングするWebインターフェースを構築した。
• インタラクティブ機能を実装：類似度スコア、類似語の検索、類推の解法、語の組み合わせ比較。

実験結果

リサーチクエスチョン

• RQ1 大規模なギリシャ語ウェブコーパス上で訓練されたFastTextベースの単語埋め込みは、他の手法と比較してどの程度の性能を示すか？
• RQ2 重複除去およびボイラープレート除去パイプラインは、NLPタスクにおけるコーパス品質の向上にどの程度効果的か？
• RQ3 ライブWebベースのツールは、ギリシャ語単語ベクトルにおける意味的関係の探索と解釈を効果的に支援できるか？
• RQ4 サブワード情報とスキップグラム学習は、ギリシャ語における意味的類似性およびスペル補正タスクの信頼性にどのように影響を与えるか？
• RQ5 t-SNE可視化は、ギリシャ語単語埋め込みにおいて意味的なクラスターや関係をどの程度効果的に明らかにできるか？

主な発見

• 重複除去後、最終コーパスは約30億トークンと1億1800万件の固有文を含んでおり、元のデータ比で75%のサイズ削減が達成された。
• サブワード情報（minCount=11、ネガティブサンプリング）を組み込んだFastTextスキップグラムモデルが、類似性およびスペル補正評価で最良の性能を示した。
• Webベースのエクスプローラーは、単語ベクトルのリアルタイムインタラクションを可能にし、類推、類似性、意味的クラスタのt-SNE可視化を支援した。
• システムは、ギリシャ語用にユニグラム（約700万）、ビグラム（約9000万）、トライグラム（約3億）を生成し、公開した。
• コーパスは35万件のギリシャ語ドメインおよび11万2000件のWARCファイルから抽出され、合計10TBのHTMLコンテンツを含んでいた。
• 8コアプロセッサと32GB RAMを搭載したシステムで、2日間の訓練時間で大規模なギリシャ語NLP学習が実現可能であることが示された。