[論文レビュー] Exploring Semantic Incrementality with Dynamic Syntax and Vector Space Semantics

Mehrnoosh Sadrzadeh, Matthew Purver+2 more|arXiv (Cornell University)|Nov 1, 2018

Natural Language Processing Techniques参考文献 24被引用数 6

ひとこと要約

本稿は、テンソル畳み込みを介して分布的意味論と段階的解析を統合することで、動的文法（DS）の合成的ベクタ空間意味論を提案する。これにより、語の逐次的意味の曖昧性解消と文の続きの妥当性スコアリングが可能となり、意味の妥当性が発話が進行するにつれて段階的に計算可能であることを示している。これは会話における予測処理を支持する。

ABSTRACT

One of the fundamental requirements for models of semantic processing in dialogue is incrementality: a model must reflect how people interpret and generate language at least on a word-by-word basis, and handle phenomena such as fragments, incomplete and jointly-produced utterances. We show that the incremental word-by-word parsing process of Dynamic Syntax (DS) can be assigned a compositional distributional semantics, with the composition operator of DS corresponding to the general operation of tensor contraction from multilinear algebra. We provide abstract semantic decorations for the nodes of DS trees, in terms of vectors, tensors, and sums thereof; using the latter to model the underspecified elements crucial to assigning partial representations during incremental processing. As a working example, we give an instantiation of this theory using plausibility tensors of compositional distributional semantics, and show how our framework can incrementally assign a semantic plausibility measure as it parses phrases and sentences.

研究の動機と目的

• 動的文法（DS）には現在、多義語の処理や期待に基づく処理のメカニズムが欠如しているため、段階的で段階的な意味解釈の欠如に対処すること。
• DSに合成的分布的意味論を拡張し、非決定的でベクトルベースの意味表現を解析中に段階的に進化させること。
• 聞き手が文脈に基づいて語の意味を即座に曖昧性解消し、文の続きの妥当性をリアルタイムで評価できる仕組みをモデル化すること。
• DSの木の節にベクトルとテンソルを装飾することで、段階的な類似度と妥当性判断を可能にする形式的枠組みを提供すること。
• 目的指向のテンソル包含を含む解析メカニズムを拡張することで、会話システムにおける段階的生成の基盤を築くこと。

提案手法

• 動的文法の木に意味のベクトルとテンソルを装飾し、合成をテンソル畳み込みによってモデル化することで、合成的意味構築を可能にする。
• 語の意味はベクトルまたは意味ベクトルの混合として表現され、多義語は複数のベクトル表現を割り当てる。
• フレーズや文の妥当性は、分布的意味論から導かれる妥当性テンソルを用いて計算され、意味の整合性の段階的評価が可能になる。
• 部分的表現を組み合わせるための和ベースの手法を用いることで、文の完成以前の段階でも意味の妥当性の早期評価が可能になる。
• 文脈が解析されるにつれて、異なる語の意味解釈の妥当性を比較することで、段階的意味の曖昧性解消を支援する。
• 本アプローチは任意のベクタ空間意味論に一般化可能であり、特にクラーク（2013b）の妥当性テンソルを用いた動詞と名詞の組み合わせの具体例が提示される。

実験結果

リサーチクエスチョン

• RQ1 動的文法に合成的分布的意味論を拡張することで、逐次的で語単位の意味構成を可能にすることができるか？
• RQ2 文の完成以前でさえ、解析中に意味の妥当性を段階的に計算する方法は何か？
• RQ3 完全な文の解釈以前に、即時の句構造的および意味的文脈に基づいて語の意味を曖昧性解消できるか？
• RQ4 部分的な入力とベクトルベースの類似度測定を用いて、妥当な文の続きの予測がどの程度可能か？
• RQ5 同じ形式的枠組みが、会話システムにおける段階的解釈と将来の段階的生成の両方をサポートできるか？

主な発見

• フレームワークは、各語が解析されるたびに段階的に意味の妥当性を測定可能であり、主題の文脈に基づいて多義語「dribble」の意味の曖昧性を早期に解消できる。
• 「Footballers dribble」の文において、モデルは「dribble」の意味として「ballをコントロールする」が「drip」よりもより妥当であると計算するが、逆に「Babies dribble」では「drip」のほうがより妥当である。
• 「The police tapped his phone」において、モデルは「intercepted」が「knocked」と組み合わせた場合に「dribble」よりもより妥当であることを示し、目的語が解析されるにつれて妥当性が向上する。
• モデルは妥当な続きの予測が可能である：「Footballers dribble」の後には「ball」が非常に妥当であるが、「milk」は不適切であり、人間の期待形成を反映している。
• モデルは、リアルタイムで潜在的な続きの妥当性値を計算・追跡することで、段階的期待形成を支援し、予測処理理論と整合する。
• フレームワークは任意のベクタ空間意味論に一般化可能であり、目的テンソルとテンソル包含を用いた段階的生成への拡張の基盤を提供する。