[論文レビュー] Representing Sentences as Low-Rank Subspaces

Jiaqi Mu, Suma Bhat+1 more|arXiv (Cornell University)|Apr 18, 2017

Topic Modeling参考文献 24被引用数 5

ひとこと要約

本稿では、文の語ベクトルが低ランク部分空間に位置することに着目し、その幾何的観察に基づいて文を低ランク部分空間として表現する手法を提案する。語の表現が低次元部分空間（ランク3〜5）に分布することを踏まえ、平均語ベクトルや最新のニューラルネットワーク（例：skip-thoughtベクトル）よりも平均15%優れた性能を達成し、教師なしで高い柔軟性と意味的表現能力を示す。

ABSTRACT

Sentences are important semantic units of natural language. A generic, distributional representation of sentences that can capture the latent semantics is beneficial to multiple downstream applications. We observe a simple geometry of sentences -- the word representations of a given sentence (on average 10.23 words in all SemEval datasets with a standard deviation 4.84) roughly lie in a low-rank subspace (roughly, rank 4). Motivated by this observation, we represent a sentence by the low-rank subspace spanned by its word vectors. Such an unsupervised representation is empirically validated via semantic textual similarity tasks on 19 different datasets, where it outperforms the sophisticated neural network models, including skip-thought vectors, by 15% on average.

研究の動機と目的

• 複雑なニューラルアーキテクチャに依存せずに、潜在的な意味的構造を効果的に捉えるシンプルな教師なし文表現手法を開発すること。
• 文の意味的構造を、語ベクトルを単一のベクトルに平均化するのではなく、低ランク部分空間に位置させることでより良く捉えられるかを検証すること。
• 類似する文は類似した部分空間を持つという仮説を検証し、グラスマン多様体を用いて部分空間類似度を測定すること。
• 平均語ベクトルや高度なニューラルモデルを含む既存の強力なベースラインを、意味的テクスト類似度タスクで上回ること。
• 特に長文においてノイズや無関係な語に強く影響を受けにくい、幾何的基盤に基づく文表現の堅牢性を提供すること。

提案手法

• 本稿では、文を構成する語ベクトルが張る低ランク部分空間として表現し、主成分分析（SVD）を用いて主要な部分空間を同定する。
• 2つの部分空間間の類似度を、それらの特異値のℓ₂ノルム（主角度のコサインに相当）としてモデル化する。
• 事前学習済み語埋め込み（GloVeおよびword2vec）を用い、文の長さにかかわらずすべての文で固定ランク4を採用する。
• 多様なドメイン（ニュース、Twitter、WordNet定義など）をカバーする19のSemEval STSデータセットを用い、ピアソン相関係数を指標として部分空間表現を評価する。
• 平均化によるバイアス（助詞など機能語の影響）を回避し、部分空間内に意味的豊かな方向性を保持する。
• 表現空間としてグラスマン多様体を用い、部分空間の整合性に基づく幾何的類似度測定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 語ベクトルが張る低ランク部分空間として文を表現することで、文の意味的構造を効果的に捉えられるか？
• RQ2 語ベクトルの平均化よりも、部分空間ベースの文表現が意味的テキスト類似度タスクで優れた性能を示すか？
• RQ3 スイッチトゥークベクトルのような複雑なニューラルネットワークモデルと比較して、部分空間法は多様なNLPデータセットで優位性を示すか？
• RQ4 文の長さやドメインにかかわらず、語ベクトルの低ランク部分空間性は一貫しているか？
• RQ5 部分空間の幾何的類似度は、文間の意味的類似度の信頼できる代理指標として機能するか？

主な発見

• 提案手法の部分空間ベースの文表現は、19のSTSデータセット平均で平均語ベクトルベースラインを14%上回った。
• 同様のベンチマークで、スイッチトゥークベクトルを含む最新のニューラルネットワークモデルよりも平均15%の向上を達成した。
• ニュース、Twitter、WordNet定義、画像キャプションなど多様なドメインで高い性能を維持し、一貫した向上を示した。
• 例えば、2015年の「images」データセットではピアソン相関が70.53を記録し、次に優れたベースラインから10ポイント以上も上回った。
• 特に長文において、平均化よりも部分空間表現が優れている。これは、不要な語や機能語の影響を受けにくいためである。
• 実験的結果により、文内の語ベクトルが低ランク部分空間（ランク3〜5）に分布することが確認され、本手法の核心的幾何的仮定が裏付けられた。