[論文レビュー] Distributional Inclusion Hypothesis for Tensor-based Composition

Dimitri Kartsaklis, Mehrnoosh Sadrzadeh|arXiv (Cornell University)|Oct 14, 2016

Topic Modeling参考文献 25被引用数 9

ひとこと要約

本稿では、分布的包含仮説（DIH）をフレーズおよび文レベルに拡張するためのテンソルベースのフレームワークを提案する。さまざまなテンソル結合モデルを用いて、文の包含関係予測において、交差的テンソルモデル（特にフロベニウスおよび関係的アプローチ）が、SAPinc や SBalAPinc といった文レベルのメトリクスと組み合わせることで、ベクトル演算や密度的ユニオンベースのモデルを上回る高い性能を示す。

ABSTRACT

According to the distributional inclusion hypothesis, entailment between words can be measured via the feature inclusions of their distributional vectors. In recent work, we showed how this hypothesis can be extended from words to phrases and sentences in the setting of compositional distributional semantics. This paper focuses on inclusion properties of tensors; its main contribution is a theoretical and experimental analysis of how feature inclusion works in different concrete models of verb tensors. We present results for relational, Frobenius, projective, and holistic methods and compare them to the simple vector addition, multiplication, min, and max models. The degrees of entailment thus obtained are evaluated via a variety of existing word-based measures, such as Weed's and Clarke's, KL-divergence, APinc, balAPinc, and two of our previously proposed metrics at the phrase/sentence level. We perform experiments on three entailment datasets, investigating which version of tensor-based composition achieves the highest performance when combined with the sentence-level measures.

研究の動機と目的

• 分布的包含仮説（DIH）を語のレベルの包含関係から、フレーズおよび文のレベルの組み合わせ的分布的意味論に拡張するため、テンソルベースのモデルを用いること。
• 異なるテンソル結合手法が、組み合わせ的分布的意味論における特徴の包含関係と包含関係予測に与える影響を調査すること。
• フレーズ／文レベルにおける、関係的、フロベニウス、射影的、統合的線形回帰の各テンソルモデルの性能を、既存の語のレベルの包含関係メトリクスと比較して評価すること。
• 上行性を示す包含関係予測において、最高の予測精度を達成する組み合わせの構成演算子と包含関係メトリクスを特定すること。
• データスパarsityに対して、非組み合わせ的ベースラインおよびベクトル演算と比較して、テンソルベースのモデルの頑健性を評価すること。

提案手法

• 動詞を高階のテンソル（例：他動詞では3階）として表現し、それを名詞ベクトルとテンソル結合により統合するテンソルベースの組み合わせ的モデルを採用する。
• 具体的な4つのテンソルモデルを適用：関係的（Grefenstette & Sadrzadeh）、フロベニウス（Kartsaklis et al.）、射影的（Kartsaklis & Sadrzadeh）、統合的線形回帰（Baroni & Zamparelli）。
• 動詞の分布的ベクトルをテンソル構成に統合することで、表現能力を向上させ、スパarsityを低減する。
• SAPinc、SBalAPinc、WeedsPrec などの文レベルの包含関係メトリクスを用い、フレーズ／文ベクトル間の包含度を評価する。
• 標準的な語のレベルのメトリクス（KLダイバージェンス、APinc、balAPinc）を用いて、モデルおよびタスク間での性能を比較する。
• 3タスク評価設定を採用：主語-動詞、動詞-目的語、主語-動詞-目的語の包含関係推定。3つの既存の包含関係データセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 どのテンソルベースの組み合わせモデルが、DIHの下でフレーズおよび文ベクトルの特徴包含性を最もよく保持するか？
• RQ2 交差的（例：乗算、MIN）とユニオンベース（例：加算、MAX）の組み合わせ演算子の違いが、包含関係予測性能に与える影響は何か？
• RQ3 どの文レベルの包含関係メトリクス（例：SAPinc、SBalAPinc）が、さまざまなテンソルモデルにおいて最高のAUCを達成するか？
• RQ4 テンソルモデルに動詞の分布的ベクトルを統合することで、非組み合わせ的ベースラインと比較して包含関係予測性能がどのように向上するか？
• RQ5 フロベニウスおよび関係的テンソルモデルが、他のテンソルおよびベクトルベースのモデルと比較して、包含関係をどれほど優れて捉えられるか？

主な発見

• フロベニウステンソルモデルとSAPincメトリクスを組み合わせた結果、主語-動詞-目的語タスクでAUC 0.84を達成し、他のすべてのモデルおよびメトリクスを上回った。
• 射影的テンソルモデルも同タスクでAUC 0.83を達成し、全体で2番目に高い性能を示し、このクラスのモデルの優れた性能を示した。
• 交差的結合モデル（例：乗算、MIN、関係的、フロベニウス）は、常にユニオンベースのモデル（例：加算、MAX、射影的）を上回った。これは、ベクトル密度の低減と、特徴包含の忠実性の向上によるものである。
• 非組み合わせ的動詞のみのベースラインは、最小二乗法を除くすべての組み合わせ的モデルより性能が低く、最小二乗法は一般化に失敗した。これは、テンソルベースの組み合わせの頑健性を示している。
• SAPinc および SBalAPinc メトリクスは、全3タスクで一貫してAUC 0.75以上を達成し、他のモデル間で最も高い性能を示した。語のレベルのメトリクス（APinc や balAPinc）を上回った。
• フロベニウスモデルに乗算（⊗_FrMul）を適用した場合、主語-動詞-目的語タスクでAUC 0.83を達成し、交差的性質を持つテンソルレベルの演算が包含関係検出を強化することを示した。