[論文レビュー] Evaluation of Unsupervised Compositional Representations

Hanan Aldarmaki, Mona Diab|arXiv (Cornell University)|Jun 12, 2018

Topic Modeling参考文献 25被引用数 3

ひとこと要約

この論文は、二値的バッグオブワーズからRNNベースのアーキテクチャに至るまで、教師ありおよび教師なしのベンチマークにおける非教師付き構成的文表現を評価する。主に、教師なしタスクでは重み付きベクトル平均化がより複雑なモデルを上回るが、構造的・文法的符号化を備えた文脈に敏感なモデル（例：inferSent や skip-th）は、教師あり設定において優位性を示す。

ABSTRACT

We evaluated various compositional models, from bag-of-words representations to compositional RNN-based models, on several extrinsic supervised and unsupervised evaluation benchmarks. Our results confirm that weighted vector averaging can outperform context-sensitive models in most benchmarks, but structural features encoded in RNN models can also be useful in certain classification tasks. We analyzed some of the evaluation datasets to identify the aspects of meaning they measure and the characteristics of the various models that explain their performance variance.

研究の動機と目的

• 非教師付き構成的モデルの性能を、教師ありおよび教師なしのベンチマークの両方で評価すること。
• 単語の重み付け、構造的符号化、学習目的といったモデル構成要素が性能のばらつきに与える影響を特定すること。
• より複雑なRNNベースのモデルと比較して、二値的バッグオブワーズや重み付き平均化といった単純なベースラインを評価すること。
• ベクトル空間の内在的構造を分析し、モデルが符号化する意味的および構造的特徴を理解すること。

提案手法

• 二値的バッグオブワーズ、tf-idfおよびSIF重み付けを施した分散表現、および文脈に敏感なモデル（doc2vec、GRAN、skip-thought、inferSent）を含む多様なモデルを評価した。
• SIF（Simple Input Feature）重み付けを適用し、平均化された表現における情報量の少ない語の影響を低減した。
• t-SNE可視化とk-meansクラスタリングを用いて、意味的タイプごとのベクトル空間構造とクラスタの凝集度を分析した。
• TRECを用いたトピック分類とSTSを用いた意味的類似度評価を、教師ありおよび教師なしの両設定で実施した。
• STSでは相関係数、トピック分類では正答率を用いて性能を比較した。
• 最近接近傍とクラスタ純度を分析し、意味的整合性とモデル固有のバイアスを評価した。

実験結果

リサーチクエスチョン

• RQ1 教師ありおよび教師なしの評価ベンチマークの両方で、最も高い性能を達成する構成的モデルアーキテクチャは何か？
• RQ2 tf-idf や SIF などの異なる重み付け方式は、教師なし類似度タスクにおける文表現の質にどのように影響するか？
• RQ3 RNNが符号化する構造的特徴は、単純な平均化と比較して分類タスクの性能にどの程度寄与するか？
• RQ4 クラスタの凝集度（意味的タイプごとの凝集）といったベクトル空間の内在的性質は、モデル間の性能差をどのように説明できるか？
• RQ5 skip-thought と inferSent は、意味的構造と文法的構造の符号化において、どのように異なるか？

主な発見

• SIF や tf-idf 重み付けを施した重み付きベクトル平均化が、教師なしの意味的テキスト類似度（STS）タスクで、他のすべてのモデルを上回った。
• NBSVM を用いた二値的バッグオブワーズベースラインは、教師ありトピック分類タスクで、すべての構成的モデルよりも顕著に高い正答率を達成した。
• skip-thought ベクトルは高いクラスタ純度と教師ありSTSでの優れた性能を示したが、教師なし設定では低性能であった。これは、構造的特徴の強い符号化を示している。
• inferSent ベクトルは、教師なしSTSでは重み付き平均化と同等の性能を示し、教師ありタスクでも一貫して高い正答率を達成した。これは、意味的および文法的特徴のバランスの取れた符号化を示している。
• doc2vec および GRAN の表現は、SIF重み付け平均と定性的に類似しており、トピックおよび意味的類似度に基づいて文が凝集的にクラスタリングされた。
• t-SNE 可視化から、skip-th ベクトルは文の構造（例：'Which country...'）に基づいてより大きく一貫性のあるクラスタを形成しているのに対し、二値的ベクトルは意味的タイプではなく語の重複に基づいてクラスタリングされていることが明らかになった。