[論文レビュー] "Not not bad" is not "bad": A distributional account of negation

Karl Moritz Hermann, Edward Grefenstette+1 more|arXiv (Cornell University)|Jun 10, 2013

Natural Language Processing Techniques参考文献 27被引用数 21

ひとこと要約

本稿では、分布的意味論における否定の組み立て的モデリングを可能にするために、意味のドメイン、値、機能的成分に分離する三重ベクトル空間モデルを提案する。'not' の機能的表現をゼロにすることで行列-ベクトル再帰的ニューラルネットワーク（MV-RNN）を再定式化し、二重否定の正確な捉え方と意味的役割の保持に成功し、従来のモデルの主要な限界を解消した。

ABSTRACT

With the increasing empirical success of distributional models of compositional semantics, it is timely to consider the types of textual logic that such models are capable of capturing. In this paper, we address shortcomings in the ability of current models to capture logical operations such as negation. As a solution we propose a tripartite formulation for a continuous vector space representation of semantics and subsequently use this representation to develop a formal compositional notion of negation within such models.

研究の動機と目的

• 現在の分布的モデルが非ブール論理演算、特に否定を適切に捉えられない問題に対処すること。
• 連続的ベクトル空間モデルにおける意味論の文脈で、否定の形式的かつ組み立て的記述を構築すること。
• 既存の行列-ベクトル再帰的ニューラルネットワーク（MV-RNN）モデルに内在する構造的欠陥を特定・解消し、否定の正しく処理されない原因を解消すること。
• 否定下でも意味的役割を保持し、二重否定を正しくモデリングできるように修正されたMV-RNNモデルを提案すること。
• 分布的モデルを量化子や場所的表現などの他の意味的関数へ拡張するための理論的基盤を構築すること。

提案手法

• 意味のドメイン、値、機能的成分に分離する三重の意味表現を、ベクトル空間モデルに導入する。
• この表現を用いて、否定を値成分を反転させる変換としてモデル化し、ドメインと機能的構造は保持する。
• 'not' の機能的表現をゼロ（$\alpha_{\text{not}} = 0$）に設定することでMV-RNNモデルを再定式化し、否定の影響がそのスコープを超えて伝搬しないように保証する。
• 元のMV-RNNモデルが二重否定において失敗するのは、'not' の機能的表現が非ゼロであるためであり、意味的ずれ（semantic drift）を引き起こすことを示す。
• 否定の機能的効果をその即時のスコープに限定することで、意味的一致性を維持する修正されたMV-RNNモデルを提案する。
• 数学的制約を用いて、$f_M(\text{not}, a) = M_a$ および $f_M(\text{not}, f_M(\text{not}, a)) = M_a$ を強制し、二重否定の回復を保証する。

実験結果

リサーチクエスチョン

• RQ1 連続的ベクトル空間モデルにおける意味論において、否定を形式的かつ組み立て的にどのようにモデル化できるか？
• RQ2 標準的なMV-RNNモデルが、分布的意味論における二重否定を正しく表現できない理由は何か？
• RQ3 MV-RNNモデルにどのような構造的変更を加えることで、否定下でも意味的役割を保持できるか？
• RQ4 ドメイン、値、機能的という三重の意味表現が、論理的演算のモデリングをどのように改善するか？
• RQ5 'not' の機能的表現をゼロにした修正されたMV-RNNモデルは、否定および二重否定の意味を正しく捉えることができるか？

主な発見

• 元のMV-RNNモデルは、'not' の機能的表現が非ゼロであるため、$f_M(\text{not}, f_M(\text{not}, a)) = M_a$ を満たさず、二重否定を正しくモデリングできない。
• $\alpha_{\text{not}} = 0$ を設定した修正されたMV-RNNモデルにより、矛盾が解消され、否定の影響がそのスコープ内でのみ値成分に限定される。
• 三重表現はドメイン、値、機能的側面を効果的に分離し、否定の言語的裏付けのある説明を可能にする。
• 否定のスコープに機能的効果を限定することで、'not good'な映画が否定後も映画のままというように、高次のエンティティの意味的同一性が保持される。
• 改善されたモデルは必要な不変性条件を満たす：$f_M(\text{not}, a) = M_a$ および $f_M(\text{not}, f_M(\text{not}, a)) = M_a$ であり、論理的一致性が保証される。
• 本アプローチは、量化子、機能語、場所的表現などの他の意味的関数をモデリングする一般化されたフレームワークを提供する。