[論文レビュー] Two Step CCA: A new spectral method for estimating vector models of words

Paramveer S. Dhillon, Jordan Rodu+2 more|arXiv (Cornell University)|Jun 27, 2012

Text and Document Classification Technologies参考文献 23被引用数 49

ひとこと要約

本稿では、2段階のCCA（TSCCA）という、新しいスペクトル的手法を紹介する。この手法は、ターゲット語の左側と右側の文脈の間に最初にCCAを適用し、その後に得られた射影とターゲット語の間に再びCCAを適用することで、語の表現学習を向上させる。単一段階のCCAやPCAベースの手法と比較して、より低いサンプル複雑性と、POSタギングやセンチメント分類などの下流NLPタスクにおける優れた性能を達成する。

ABSTRACT

Unlabeled data is often used to learn representations which can be used to supplement baseline features in a supervised learner. For example, for text applications where the words lie in a very high dimensional space (the size of the vocabulary), one can learn a low rank "dictionary" by an eigen-decomposition of the word co-occurrence matrix (e.g. using PCA or CCA). In this paper, we present a new spectral method based on CCA to learn an eigenword dictionary. Our improved procedure computes two set of CCAs, the first one between the left and right contexts of the given word and the second one between the projections resulting from this CCA and the word itself. We prove theoretically that this two-step procedure has lower sample complexity than the simple single step procedure and also illustrate the empirical efficacy of our approach and the richness of representations learned by our Two Step CCA (TSCCA) procedure on the tasks of POS tagging and sentiment classification.

研究の動機と目的

• ラベルなしテキストから低ランク語表現を学習する際の単一段階CCAやPCAの限界を克服すること。
• 高次元の語彙空間において、効果的な語ベクトル推定に必要なサンプル複雑性を低減すること。
• 下流の教師ありNLPタスクにおける語表現の質と表現力の向上を図ること。
• 文脈的依存関係をよりよく捉える理論的裏付けのある2段階スペクトル手順を開発すること。

提案手法

• まず、ターゲット語の左文脈と右文脈の間にCCAを適用して相関する特徴を抽出する。
• 最初の段階で得られたCCA変換を用いて、文脈ベクトルの射影を計算する。
• 次に、射影された左右文脈特徴とターゲット語自体との間に、2番目のCCAを適用する。
• 2番目のCCAから得られる標準化されたベクトルが、最終的な語表現として採用される。
• 2段階のプロセスは、ノイズ低減と文脈表現とターゲット語表現の整合性向上を目的として設計されている。
• 理論的分析により、TSCCAは特に高次元設定において、単一段階CCAよりも低いサンプル複雑性を有することが示されている。

実験結果

リサーチクエスチョン

• RQ1 2段階CCA手順は、サンプル効率と表現品質の観点から、単一段階CCAやPCAを上回る語表現を達成できるか？
• RQ2 POSタギングやセンチメント分類などの下流NLPタスクにおいて、2段階CCA手法はベースラインのスペクトル手法と比較してどのように異なるか？
• RQ3 2段階アプローチは、単一段階CCAに比べて、理論的にどの程度のサンプル複雑性の優位性を示すか？
• RQ4 2段階手法は、従来の手法と比較して、より豊かな文法的・意味的情報を語表現に捉え込めるか？

主な発見

• 理論的に示されたように、TSCCAは単一段階CCAよりも低いサンプル複雑性を達成し、データ効率が向上する。
• 実験的結果により、TSCCAはPOSタギングおよびセンチメント分類タスクにおいて、単一段階CCAおよびPCAを上回ることが示された。
• TSCCAから得られる語表現は、より表現力に富み、より豊かな文脈的依存関係を捉え込んでいる。
• 2段階プロセスにより、下流NLPタスクでの性能が向上し、実践的効果が実証された。