[論文レビュー] Unsupervised Lemmatization as Embeddings-Based Word Clustering

Rudolf Rosa, Zdeněk Žabokrtský|arXiv (Cornell University)|Aug 22, 2019

Natural Language Processing Techniques参考文献 6被引用数 5

ひとこと要約

この論文は、Jaro-Winkler編集距離とFastText単語埋め込みのコサイン類似度を組み合わせた新しい距離測定法を用いて、語形変化形をクラスタリングする教師なしの語形還元手法を提案する。23の言語で構成される28のデータセットで評価された結果、23のデータセットでベースライン手法を上回り、中央値として23%の誤差低減を達成し、スラブ諸語では最大50%の改善が見られた。これは、埋め込みに基づくクラスタリングが教師なし語形還元において有効であることを示している。

ABSTRACT

We focus on the task of unsupervised lemmatization, i.e. grouping together inflected forms of one word under one label (a lemma) without the use of annotated training data. We propose to perform agglomerative clustering of word forms with a novel distance measure. Our distance measure is based on the observation that inflections of the same word tend to be similar both string-wise and in meaning. We therefore combine word embedding cosine similarity, serving as a proxy to the meaning similarity, with Jaro-Winkler edit distance. Our experiments on 23 languages show our approach to be promising, surpassing the baseline on 23 of the 28 evaluation datasets.

研究の動機と目的

• 低資源言語における語形還元のためのアノテート済み学習データの不足に対処すること。
• 言語固有で粗いルールベースのステミングの限界を克服すること。
• ラベル付きデータに依存せずに語形変化形をグループ化する教師なし語形還元手法を開発すること。
• 単語の文字レベル類似度と意味的類似度（単語埋め込みを用いて）を統合することでクラスタリング精度を向上させること。
• 特に低資源言語および変形豊富な言語を含め、多様な変形タイプに対して手法を評価すること。

提案手法

• 本手法は、$ dist(a,b) = 1 - JW(a,b) \cdot \frac{\cos(a,b) + 1}{2} $ という組み合わせ距離測定法を用いる。これは、Jaro-Winkler編集距離とFastText埋め込みのコサイン類似度を統合したものである。
• 語形は、小文字化、Unidecodeを用いたASCII表記への変換、初期以外の母音の削除によって事前処理され、ノイズを低減する。
• 平均連結法を用いた階層的クラスタリングを実行し、平均クラスタ距離が閾値 $ t = 0.4 $ を超えると停止することで、クラスタの粒度を制御する。
• 計算コストを削減するため、語形はまず、簡略化された形の最初の3文字に基づいてハイパクラスタにグループ化される。
• 未知語彙語は、閾値内であれば最も近いクラスタに割り当てられ、そうでなければ新しいクラスタが作成される。
• 品詞タグはクラスタの精緻化の手段として検討されたが、教師なし品詞タグ分類の性能が悪いため、最終的な教師なし設定では使用されなかった。

実験結果

リサーチクエスチョン

• RQ1 文字類似度と単語埋め込み類似度を組み合わせた距離測定法は、アノテート済みデータなしで語形変化形を語彙形に効果的にグループ化できるか？
• RQ2 本手法は、全形ベースや接頭語ベースのクラスタリングといったベースライン手法と比較して、多様な言語でどのように性能を発揮するか？
• RQ3 サブワード対応埋め込み（FastText）を統合することで、従来の単語埋め込みに比べてクラスタリング性能がどの程度向上するか？
• RQ4 本手法の限界として、同音異義語、代替語、非変形類似語の処理にどのような課題があるか？
• RQ5 本手法は、特にスラブ語やゲルマン語のような語形豊富な言語に一般化して効果的に機能するか？

主な発見

• 提案手法は28件の評価データセットのうち23件でベースラインを上回り、多様な言語に広く有効であることが示された。
• ベースラインに対する中央値の誤差低減率は23%であり、チェコ語やポーランド語のようなスラブ諸語では最大50%の改善が見られた。
• 組み合わせ距離測定法（$JW \cdot \cos$）は、単独で用いたいずれの成分よりも顕著に優れており、唯一2件のデータセットでコサイン類似度単独が優位であった。
• 語形変化がほとんどない分析的言語（例：韓国語、日本語）では性能が低く、ベースラインクラスタリングがも既にほぼ最適に近い状態であった。
• イタリア語のツイッター文書や歴史的ラテン語などの困難なデータセットでは性能が低下し、ノイズが多いまたは標準でないテキストに敏感であることが示された。
• 本手法は、文脈に依存しない単語埋め込みのため、同音異義語や代替語の処理に苦労しており、今後の研究ではBERTのような文脈埋め込みの導入が求められる。