[論文レビュー] Language Modeling by Clustering with Word Embeddings for Text Readability Assessment

Miriam Cha, Youngjune Gwon+1 more|arXiv (Cornell University)|Sep 5, 2017

Text Readability and Simplification参考文献 15被引用数 3

ひとこと要約

この論文では、語の分散表現を用いて文の読みやすさ予測を向上させるクラスタリングベースの言語モデルを提案する。事前学習済みの fastText 語彙ベクトルに K-means クラスタリングを適用し、ドキュメントをヒストグラム特徴量として表現することで、Common Core Standards コーパスにおいて、Spearman相関係数 0.83、Pearson相関係数 0.82 の最先端の性能を達成した。これは、浅い特徴量や標準的な埋め込み表現を用いた先行手法を上回る結果である。

ABSTRACT

We present a clustering-based language model using word embeddings for text readability prediction. Presumably, an Euclidean semantic space hypothesis holds true for word embeddings whose training is done by observing word co-occurrences. We argue that clustering with word embeddings in the metric space should yield feature representations in a higher semantic space appropriate for text regression. Also, by representing features in terms of histograms, our approach can naturally address documents of varying lengths. An empirical evaluation using the Common Core Standards corpus reveals that the features formed on our clustering-based language model significantly improve the previously known results for the same corpus in readability prediction. We also evaluate the task of sentence matching based on semantic relatedness using the Wiki-SimpleWiki corpus and find that our features lead to superior matching performance.

研究の動機と目的

• 語の分散表現から得られる意味的特徴を活用することで、浅い言語的特徴量に依存しない、文の読みやすさ評価の向上を図ること。
• 意味空間における語ベクトルのクラスタリングが、テキスト回帰タスクに向けたより判別性の高い特徴量をもたらすかどうかを調査すること。
• 提案手法の有効性を、読みやすさ予測および意味的類似性のための文マッチングの両タスクにおいて評価すること。
• クラスタリングされた語埋め込みからのヒストグラム表現が、長さが異なるドキュメントを自然に扱えるかどうかを示すこと。

提案手法

• 本手法は、Common Core Standards コーパスで事前学習された fastText 語埋め込みを用い、語を高次元の意味的空間に表現する。
• 語ベクトルに K-means クラスタリングを適用し、意味的に類似した語をクラスタにグループ化することで、クラスタベースの言語モデルを構築する。
• ドキュメントごとのクラスタ出現回数を数えることでドキュメントレベルの特徴量を生成し、変動する長さのテキストに対応できるヒストグラム表現を形成する。
• ヒストグラム特徴量を回帰モデルの入力として用い、テキストの読みやすさレベルを予測する。
• 文マッチングのタスクでは、文内の語埋め込みの平均値から文の埋め込みを生成し、類似度評価には最近傍探索を用いる。
• 本手法は、読みやすさ予測のための Common Core Standards コーパスと、意味的類似性のための Wiki-SimpleWiki コーパスの2つのベンチマークで評価された。

実験結果

リサーチクエスチョン

• RQ1 意味空間における語埋め込みのクラスタリングが、従来の浅い特徴量や生の埋め込み表現よりも、読みやすさ予測に優れた特徴量をもたらすか？
• RQ2 クラスタ頻度のヒストグラム表現が、読みやすさ評価における長さが異なるドキュメントの性能向上に寄与するか？
• RQ3 提案されたクラスタリングベースの言語モデルが、語彙や文法が異なる文間の意味的類似性を効果的に捉えられるか？
• RQ4 本手法の性能は、Common Core Standards コーパスにおいて、最先端の手法と比較してどうなるか？

主な発見

• 提案手法は、Common Core Standards コーパスにおいて、Spearman相関係数 0.83、Pearson相関係数 0.82 を達成し、以前の最先端手法を上回った。
• fastText 語ベクトルに K-means クラスタリングを適用した結果、Brown クラスタリングやベースライン埋め込みモデルを上回り、特にターゲットコーパスで微調整された語ベクトルを用いた場合に最高の性能を示した。
• Wikipedia の文とその SimpleWiki 版が、意味空間内で最近傍4件内に入る確率が 95.9% に達し、強い意味的保存性が示された。
• fastText 埋め込みに K-means クラスタリングを組み合わせることで、bag-of-words や word2vec、doc2vec のベースラインと比較して、読みやすさ予測の性能が顕著に向上した。
• ヒストグラムベースの特徴表現は、長さが異なるドキュメントを効果的に扱えたため、多様なテキスト長にわたる堅牢な性能が得られた。