[論文レビュー] Zero-training Sentence Embedding via Orthogonal Basis

Ziyi Yang, Chenguang Zhu+1 more|arXiv (Cornell University)|Sep 27, 2018

Topic Modeling参考文献 30被引用数 7

ひとこと要約

本稿では、グラム・シュミット過程にインspiredされた直交基底構築を用いて、ゼロトレーニング、パラメータフリーな文埋め込み手法を提案する。文脈語が張る部分空間に対する関係を通じて語の意味をモデル化し、新たな意味を直交基底ベクトルとして導入することで、任意のトレーニングやハイパーパrameterを必要とせず、11のNLPタスクで最先端の性能を達成する。

ABSTRACT

We propose a simple and robust training-free approach for building sentence representations. Inspired by the Gram-Schmidt Process in geometric theory, we build an orthogonal basis of the subspace spanned by a word and its surrounding context in a sentence. We model the semantic meaning of a word in a sentence based on two aspects. One is its relatedness to the word vector subspace already spanned by its contextual words. The other is the word's novel semantic meaning which shall be introduced as a new basis vector perpendicular to this existing subspace. Following this motivation, we develop an innovative method based on orthogonal basis to combine pre-trained word embeddings into sentence representations. This approach requires zero training and zero parameters, along with efficient inference performance. We evaluate our approach on 11 downstream NLP tasks. Experimental results show that our model outperforms all existing zero-training alternatives in all the tasks and it is competitive to other approaches relying on either large amounts of labelled data or prolonged training time.

研究の動機と目的

• 大規模なラベル付きデータやモデルのファインチューニングを必要としないトレーニングフリーな文表現手法の開発。
• 直交基底分解を用いたベクトル空間内の幾何的関係を活用し、文脈における語の意味をモデル化すること。
• ハイパーパrameterチューニングや学習を一切必要としない、高い効率性と一般化性能を備えたパラメータフリー手法の構築。
• 任意のトレーニングを必要とせず、既存のゼロトレーニング代替手法を下回らない性能を、下流NLPベンチマークで達成すること。

提案手法

• 本手法は、グラム・シュミット過程の原則に従い、語とその周辺文脈が張る部分空間の直交基底を構築する。
• 語の意味的寄与は、既存の文脈部分空間への射影と、独自の意味を表す直交成分の組み合わせとしてモデル化される。
• 事前学習済みの単語埋め込みを直交基底分解により組み合わせ、学習パラメータを一切用いずに文レベルの表現を形成する。
• 新しい語ベクトルと文脈語の部分空間との直交性を強制することで、意味の新規性を保証する。
• 最終的な文埋め込みは直交基底ベクトルから導出され、文脈の整合性と意味の特異性の両方を保持する。
• トレーニングや最適化は一切含まれない。本手法は純粋に決定論的であり、計算的にも効率的である。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータやファインチューニングに依存せず、ゼロトレーニング・パラメータフリーな手法が、競争力のある文表現性能を達成できるか。
• RQ2 事前学習済み単語埋め込みからの直交基底構築が、文における文脈的意味をどれほど効果的にモデル化できるか。
• RQ3 グラム・シュミット直交化のような幾何的ベクトル空間の原則を活用することで、文表現の質を向上させられるか。
• RQ4 本手法は、多様なNLPタスクにおいて、既存のゼロトレーニング代替手法を上回る性能を示せるか。

主な発見

• 提案手法は、評価されたすべての11の下流NLPタスクで、既存のすべてのゼロトレーニング代替手法を上回る。
• 大規模なラベル付きデータや長時間のトレーニングに依存するモデルと比較しても、競争力のある性能を達成する。
• ハイパーパrameterチューニングや学習を一切必要とせず、多様なNLPタスクにわたり強い一般化性能を示す。
• 直交基底構築は、文表現における文脈的整合性と意味的新規性の両方を効果的に捉える。
• 学習可能なパラメータが存在せず、決定論的ベクトル演算が用いられるため、推論が極めて効率的である。