[論文レビュー] Evaluating Unsupervised Dutch Word Embeddings as a Linguistic Resource

Stéphan Tulkens, Chris Emmery+1 more|arXiv (Cornell University)|Jul 1, 2016

Natural Language Processing Techniques参考文献 28被引用数 17

ひとこと要約

本稿では、4つの大規模コーパスから得られた教師なしのオランダ語単語埋め込み表現を、2つのアーキテクチャ―SPPMI（頻度ベース）およびSGNS（予測ベース）を用いて評価し、2つの言語固有のタスク（意味関係同定および方言同定）を実施した。SGNSモデルはSPPMIおよび手作業で作成された辞書を上回る性能を示し、高次元で大規模な埋め込み表現が、オランダ語NLPタスクにおける効果的な教師なし言語資源として機能することを示した。

ABSTRACT

Word embeddings have recently seen a strong increase in interest as a result of strong performance gains on a variety of tasks. However, most of this research also underlined the importance of benchmark datasets, and the difficulty of constructing these for a variety of language-specific tasks. Still, many of the datasets used in these tasks could prove to be fruitful linguistic resources, allowing for unique observations into language use and variability. In this paper we demonstrate the performance of multiple types of embeddings, created with both count and prediction-based architectures on a variety of corpora, in two language-specific tasks: relation evaluation, and dialect identification. For the latter, we compare unsupervised methods with a traditional, hand-crafted dictionary. With this research, we provide the embeddings themselves, the relation evaluation task benchmark for use in further research, and demonstrate how the benchmarked embeddings prove a useful unsupervised linguistic resource, effectively used in a downstream task.

研究の動機と目的

• 教師なしオランダ語単語埋め込み表現の質と、下流NLPタスクにおける言語資源としての有用性を評価すること。
• オランダ語固有の言語現象に対して、頻度ベース（SPPMI）と予測ベース（SGNS）の単語埋め込みモデルの性能を比較すること。
• 英語のword2vec評価と同等の水準で評価可能な、オランダ語における意味的類似性同定のための新規ベンチマークデータセットを構築・公開すること。
• 従来の手作業で作成された辞書がカバー率が低いために性能が劣るという課題がある方言同定タスクにおいて、埋め込み表現の有効性を評価すること。
• 今後のオランダ語NLP研究を支援するため、公開可能な埋め込み表現、トレーニングコード、評価資料を提供すること。

提案手法

• SPPMIおよびSGNS単語埋め込みを、SNSやニューステキストを含む4つの大規模オランダ語コーパス上で学習し、高次元のベクトル空間（300次元）を用いた。
• SPPMIを明示的な頻度ベース手法として用い、共起行列をlog(k)でシフトした後、特異値分解により表現を抽出した（kはネガティブサンプル数）。
• SGNSを予測ベース手法として用い、ネガティブサンプリングを用いて文脈から単語を予測する形で単語表現を学習した。
• 意味的類似性を評価する目的で、15の言語的述語（例：最高級、複数形、国籍など）を含むカスタムの意味関係同定ベンチマークを設計した。
• 13のオランダ語地方を用いた方言同定タスクを構築し、与えられた単語の地域的方言を埋め込み表現から予測するようにした。
• 正解率および平均逆順位（MRR）を用いてモデルを評価し、手作業で作成された方言辞書およびベースラインモデルと比較した。

実験結果

リサーチクエスチョン

• RQ1 SPPMIとSGNSの単語埋め込みは、オランダ語固有の意味関係タスクにおいて、どのように性能を発揮するか？
• RQ2 教師なし単語埋め込みは、従来のルールベースの方言辞書がカバー率が低いために性能が劣るオランダ語の方言同定タスクにおいて、どの程度優れているか？
• RQ3 コーパスのサイズとソースは、オランダ語単語埋め込みの品質および一般化能力にどのように影響するか？
• RQ4 単語頻度とコーパスカバレッジは、SPPMIとSGNSモデルの方言同定タスクにおける性能に、それぞれどのような役割を果たすか？
• RQ5 教師なし埋め込み表現は、リソースが限られるあるいは非公式な言語現象に対して、実用的かつスケーラブルな言語資源として機能できるか？

主な発見

• SGNSモデルは、方言同定タスクでSPPMI（24.4％のカバレッジ）および手作業辞書（11.6％のカバレッジ）を上回り、正解率（68.3％のカバレッジ）とMRRの両面で優れた性能を示した。
• SPPMIモデルは、複数形といった特定の屈折的現象において優れた性能を示し、全モデルの中で最も高いスコアを記録した。
• SGNS埋め込みは、低頻度の方言名に対してもより良好に一般化したが、SPPMIモデルは、コーパス頻度が700未満の6つの地方では完全に失敗（0％の正解率）した。
• SPPMIモデルは、Antwerpen（ANT）、Groningen（GRO）、Utrecht（UTR）といった高頻度方言に対して特に優れた性能を示し、これは頻度効果に敏感であることに起因する。
• 関係同定タスクでは、オランダ語ベンチマークが元の英語word2vec評価と同等の性能（平均51.3）を示したため、このタスクがオランダ語に適していることが裏付けられた。
• 全体的な性能は低かったが、SPPMIモデルはSGNSよりも複数形などの特定の屈折的特徴をより信頼性高く捉えており、両アーキテクチャの相補的な強みが示された。