[論文レビュー] Correcting the Common Discourse Bias in Linear Representation of Sentences using Conceptors

Tianlin Liu, João Sedoc+1 more|arXiv (Cornell University)|Nov 17, 2018

Topic Modeling参考文献 14被引用数 8

ひとこと要約

本論文は、単語ベクトルの主成分が文表現を歪める線形文埋め込みにおける一般的な話法バイアスを是正するための新しいソフトプロジェクション手法を提案する。正則化された恒等写像（Conceptor）を用いて、支配的である方向を軽減することで、臨床NLPタスクにおける意味的類似度性能を向上させる。この手法は、BioCreative/OHNLPチャレンジ2018において、標準的なSIFベースの手法を上回る性能を発揮した。

ABSTRACT

Distributed representations of words, better known as word embeddings, have become important building blocks for natural language processing tasks. Numerous studies are devoted to transferring the success of unsupervised word embeddings to sentence embeddings. In this paper, we introduce a simple representation of sentences in which a sentence embedding is represented as a weighted average of word vectors followed by a soft projection. We demonstrate the effectiveness of this proposed method on the clinical semantic textual similarity task of the BioCreative/OHNLP Challenge 2018.

研究の動機と目的

• 線形文表現における一般的な話法バイアスに対処すること。ここでの話法バイアスとは、支配的である単語ベクトルの方向がノイズを増幅させ、意味信号を抑制する要因となる。
• 文埋め込み手法におけるハードな主成分除去の代替として、ソフトで微分可能な手法を開発すること。
• Conceptorsを用いた表現の精練により、臨床分野における意味的テクスト類似度タスクの性能を向上させること。
• Corpus全体に共通する言語的背景（例：機能語や頻出の意味を持たない語）を効果的にモデル化できるかどうかを示すこと。

提案手法

• 本手法は、単語ベクトルの主成分から遠ざけるためのソフトプロジェクションとして、正則化された恒等写像（Conceptor）を用いる。
• Conceptorは、実際の文からの単語ベクトルと事前に定義されたストップワード集合の両方を組み合わせて学習することで、共通する話法的要因を捉える。
• Conceptor行列Gは、正則化最小二乗法の解を用いて計算され、支配的で意味的でない方向を抑制するようなプロジェクションを近似する。
• 文埋め込みは、まず頻度に基づく重み付け（a/(a + p(w)))を用いて単語ベクトルの重み付き平均として形成され、その後学習済みのConceptorを介してプロジェクションされる。
• 本手法はSIFとは異なり、最初の主成分をハードに除去するのではなく、学習された適応的ソフトプロジェクションを用いる。
• 最終的な文埋め込みは、Conceptor行列を重み付き平均の単語ベクトルに適用することで得られ、共通する話法的要因が効果的にフィルタリングされる。

実験結果

リサーチクエスチョン

• RQ1 SIFとは異なり、ハードな主成分除去ではなく、ソフトで微分可能なプロジェクション機構（例：Conceptor）を用いることで、文埋め込みにおける話法バイアス是正の性能が向上するか？
• RQ2 Conceptorの学習プロセスにストップワードや頻出の意味を持たない語を組み込むことで、表現品質にどのような影響が生じるか？
• RQ3 SIFに比べ、特に意味的テクスト類似度タスクにおいて、アウトオブドメインの臨床テキストに対して、Conceptorベースの手法がより一般化性能を発揮するか？
• RQ4 明示的なアノテーションや複雑なアーキテクチャを必要とせずに、Conceptorsがコーパス全体の共通する言語的背景を効果的にモデル化できるか？

主な発見

• Conceptorベースの手法は、BioCreative/OHNLPチャレンジ2018の臨床STSデータセットにおいて、標準的なSIF手法を上回り、より高いスピアマン順位相関係数を達成した。
• 文の単語ベクトルとストップワード集合の両方を用いて学習したConceptorは、文ベクトルのみで学習した場合よりも優れた性能を発揮した。
• 深層ニューラルネットワークを必要とせず、適切なバイアス補正を施すことで、単純な線形モデルでも顕著な性能向上が達成された。
• 本手法は、単語ベクトル空間における支配的で意味的でない方向をソフトに抑制することで、意味的類似度モデリングの性能を向上させた。