[論文レビュー] Using Sentence Plausibility to Learn the Semantics of Transitive Verbs

Tamara Polajnar, Laura Rimell+1 more|arXiv (Cornell University)|Nov 28, 2014

Topic Modeling参考文献 15被引用数 10

ひとこと要約

本稿では、文の妥当性に基づくロジスティック回帰を用いて構成的分布的意味解析における及物動詞行列を学習する手法を提案し、動詞の意味解釈のタスクにおいて従来の分布的手法を上回ることを示している。一方で、文の類似度タスクでは分布的手法が依然として優れている。主な貢献は、意味的に不適切な文への感受性を示すため、妥当性に基づく学習が意味解釈のための動詞表現をより効果的に得られることを示したことにある。

ABSTRACT

The functional approach to compositional distributional semantics considers transitive verbs to be linear maps that transform the distributional vectors representing nouns into a vector representing a sentence. We conduct an initial investigation that uses a matrix consisting of the parameters of a logistic regression classifier trained on a plausibility task as a transitive verb function. We compare our method to a commonly used corpus-based method for constructing a verb matrix and find that the plausibility training may be more effective for disambiguation tasks.

研究の動機と目的

• 文の妥当性を活用して、構成的分布的意味解析におけるより効果的な及物動詞表現を学習できるかを調査すること。
• コーパスに基づく分布的手法と比較して、妥当性に基づく学習（ロジスティック回帰）が及物動詞行列を学習する際の性能を評価すること。
• 訓練データの構成、特に肯定例のみを用いる場合と否定例を含める場合の違いが、動詞表現の質に与える影響を評価すること。
• 妥当性に基づく文空間が意味解釈タスクに適している一方で、トピックベースの空間が文類似度タスクに適しているかどうかを特定すること。

提案手法

• 動詞行列は、主語・目的語の名詞ベクトルを入力とし、スカラーの妥当性スコアを出力する妥当性分類タスクに基づくロジスティック回帰によって学習される。
• モデルは行列積 $ \sigma(\mathbf{s}^T \mathbf{V} \mathbf{o}) $ のシグモイド変換を用い、平均二乗誤差とL2正則化を用いて訓練される。
• バリエーションの一つである「回帰-肯定」（reg+）は、肯定的（妥当な）訓練例のみを用い、分布的ベースラインと同様の目的関数で訓練されるが、同じ妥当性目的関数を用いる。
• 動詞行列 $ \mathbf{V} $ は、関数的アプローチに従い、主語と目的語のベクトルを線形写像として組み合わせて文表現を生成するために用いられる。
• 名詞ベクトルは、Wikipediaの共起行列から得られ、次元削減のため特異値分解（SVD）を用いて低次元の文脈空間に縮小される。
• コサイン類似度、フロベニウス加法的、関係的構成の3つの構成手法を評価し、異なる動詞行列学習手法との相互作用を検証する。

実験結果

リサーチクエスチョン

• RQ1 文の妥当性に基づいて動詞行列を学習する手法が、共起頻度に基づく分布的手法よりも動詞の意味解釈タスクで優れているか？
• RQ2 訓練に不適切（否定的）な例を含めることで、肯定的（妥当）な例のみを用いる場合と比較して、動詞表現の質がどのように向上するか？
• RQ3 意味解釈タスクでは妥当性に基づく文空間が、トピックベースの名詞空間よりも効果的であるか。逆に、文類似度タスクではトピックベースの空間が妥当性ベースの空間よりも優れているか？
• RQ4 名詞ベクトルの次元が、提案された妥当性に基づく手法の性能にどの程度影響を与えるか？
• RQ5 回帰ベースの動詞行列学習アプローチが、標準的な分布的手法よりも汎化性能および意味解釈の正確性において向上するか？

主な発見

• 妥当性に基づく回帰手法（reg）は、動詞の意味解釈タスクにおいて分布的手法（dist）を上回り、GS2011およびKS2013の両データセットでスピアマン順位相関が高くなった。
• GS2011データセットでは、regが関係的構成を用いてスピアマン相関0.33を達成し、distの0.27を顕著に上回った。
• KS2013データセットでは、regが関係的構成を用いて相関0.31を達成し、distの0.25を上回った。これは、意味解釈タスクにおける一貫した優位性を示している。
• 文類似度タスクでは、分布的手法（dist）がregを上回った。特に『project present problem』と『programme face difficulty』のような中程度から高い類似度ペアにおいて顕著だった。
• 回帰-肯定バージョン（reg+）は、distに近い性能を示したが、regほどではなかった。これは、否定例の含め方が妥当性ベースの学習において極めて重要であることを示唆している。
• 20次元の名詞ベクトルでも妥当な性能が得られた。これは、低次元表現がこのフレームワークにおける関数的構成において実用的で効率的であることを示している。