[論文レビュー] Towards logical negation for compositional distributional semantics

Martha Lewis|arXiv (Cornell University)|May 11, 2020

Natural Language Processing Techniques参考文献 37被引用数 14

ひとこと要約

この論文は、カテゴリー CPM(FVect) を用いた DisCoCat フレームワークにおいて、語のベクトルの直交部分空間への射影として否定をモデル化する、構成的分布的意味解析のための論理的否定演算子を導入する。この手法は、特に 300次元の GloVe ベクトルと kBA 類似度測定法を用いた文の含意タスクで性能向上を示し、否定された主語や動詞を含む複数の文の種類において、非構成的ベースラインを上回る結果を得た。

ABSTRACT

The categorical compositional distributional model of meaning gives the composition of words into phrases and sentences pride of place. However, it has so far lacked a model of logical negation. This paper gives some steps towards providing this operator, modelling it as a version of projection onto the subspace orthogonal to a word. We give a small demonstration of the operators performance in a sentence entailment task.

研究の動機と目的

• 構成的分布的意味解析（DisCoCat）における論理的否定の正式なモデルの欠如に対処すること。
• カテゴリカルな構成的フレームワークと CPM(FVect) の線形代数的構造と整合性を持つ否定演算子を開発すること。
• コーパスベースのベクトル表現を用いた文の含意タスクにおいて、その演算子の性能を評価すること。
• 量子にインspiredされた意味モデルにおける否定を直交射影としてモデル化する理論的・実用的妥当性を検討すること。

提案手法

• 語のベクトルを元のベクトルの直交部分空間に射影する線形写像として否定をモデル化し、Widdows と Peters (2003) の研究にインspiredされている。
• 名詞と文を正の作用素として、助詞を完全正の写像として表すカテゴリー CPM(FVect) を使用する。
• 語の意味を構成的に結合するための合成作用素（Mult、BMult、KMult）を用いる。
• 文の含意関係（否定あり・なし）を評価するために、kBA および kE 類似度測定法を適用する。
• コーパスベースのデータセットで学習された 50 次元および 300 次元の GloVe ベクトルを語の表現に用いる。
• 小規模な含意データセットを用いて性能を評価し、構成的モデルと非構成的ベースラインを比較する。

実験結果

リサーチクエスチョン

• RQ1 カテゴリー理論と線形代数を用いて、DisCoCat フレームワーク内で論理的否定を正式にモデル化する方法は何か？
• RQ2 語のベクトルをその直交部分空間に射影することは、構成的意味合成において意味的に妥当な否定をもたらすか？
• RQ3 異なる合成作用素（Mult、BMult、KMult）は、提案された否定演算子と文の含意タスクにおいてどのように相互作用するか？
• RQ4 含意を検出する際、類似度測定法（kBA 対 kE）の相対的な性能は何か？
• RQ5 否定演算子は、理論的整合性を保つために、CPM(FVect) や ConvexRel といったより広範な意味的フレームワークに統合可能か？

主な発見

• kBA 類似度測定法は、すべての文の種類において kE を顕著に上回り、特にバランスの取れたデータセットでは対称性のおかげで優れた性能を示した。
• Mult 作用素は「not noun - not verb」文の種類で AUC 0.925 を達成し、二重否定において優れた性能を示した。
• 300 次元の GloVe ベクトルと kBA 測定法を用いることで、「not noun - verb」では AUC 0.875、「noun - not verb」では 0.802 を達成し、より高いロバストネスを示した。
• 構成的モデル（Mult）は、すべての文の種類において非構成的（名詞のみ）ベースラインを顕著に上回り、構成の価値を示した。
• 低次元ベクトル（50D）は、「not noun - verb」と「noun - not verb」の種類において kE と組み合わせて優れた性能を示し、次元数と類似度測定法の選択が相互に作用している可能性を示唆した。
• KMult 作用素と kBA 測定法を組み合わせると、「not noun - verb」で AUC 0.875、「noun - not verb」で 0.802 を達成し、否定の位置にかかわらず強い汎化性能を示した。