[論文レビュー] Is Structure Necessary for Modeling Argument Expectations in Distributional Semantics?

Emmanuele Chersoni, Enrico Santus+2 more|arXiv (Cornell University)|Oct 3, 2017

Topic Modeling参考文献 33被引用数 4

ひとこと要約

本稿は、分布的意味解析における動詞の目的語期待をモデル化する際に、構造的表現が必要かどうかを調査する。構造的モデルと非構造的「引数の袋（bag-of-arguments）」および「語の袋（bag-of-words）」の変種を比較し、構造的モデルが引数期待の更新タスクにおいて非構造的モデルを著しく上回り、実験的ERPデータをよりよく再現することを発見した。これは、正確な主題的適合モデル化において構造的情報が不可欠であることを示している。

ABSTRACT

Despite the number of NLP studies dedicated to thematic fit estimation, little attention has been paid to the related task of composing and updating verb argument expectations. The few exceptions have mostly modeled this phenomenon with structured distributional models, implicitly assuming a similarly structured representation of events. Recent experimental evidence, however, suggests that human processing system could also exploit an unstructured "bag-of-arguments" type of event representation to predict upcoming input. In this paper, we re-implement a traditional structured model and adapt it to compare the different hypotheses concerning the degree of structure in our event knowledge, evaluating their relative performance in the task of the argument expectations update.

研究の動機と目的

• 分布的意味解析における引数期待をモデル化する際に、構造的表現が必要かどうかを調査すること。
• 動詞の引数の妥当性を予測する際の「引数の袋（bag-of-arguments）」仮説の妥当性を、構造的モデルと比較して検証すること。
• 非構造的モデルが、役割が逆転した文におけるN400振幅差を示す実験的ERP結果を再現できるかどうかを評価すること。
• 構造的分布的モデルが、主題的適合および引数期待の更新を含むタスクにおいて、非構造的モデルを上回るかどうかを特定すること。

提案手法

• 著者たちは、引数期待の合成と更新に適した伝統的な構造的分布的モデル（Lenci, 2011）を実装・適応した。
• 非構造的モデルの変種を構築し、引数を順序のない意味的単位として扱う「引数の袋（bag-of-arguments）」モデルと、文法的役割を完全に無視する「語の袋（bag-of-words）」モデルを含む。
• モデルは、Bicknellら（2010）およびChowら（2015）のデータセットを用いて、引数期待の更新のための二値選択タスクで評価された。
• 分類精度を用いて、妥当な対と不適切な対のペアの分類性能を測定した。
• モデルは、ERP実験で観察されたN400振幅差を再現できるかについてもテストされた。
• モデルタイプ間の公平な比較を保証するため、パラメータチューニングと交差検証が用いられた。

実験結果

リサーチクエスチョン

• RQ1 分布的意味解析における引数期待の正確なモデル化には、構造的表現が必要か？
• RQ2 「引数の袋（bag-of-arguments）」や「語の袋（bag-of-words）」のような非構造的モデルは、役割が逆転した文におけるN400振幅の実験的結果を再現できるか？
• RQ3 構造的モデルは、引数期待の更新タスクにおいて非構造的モデルを上回るか？
• RQ4 非構造的モデルは、Bicknellら（2010）のデータセットで見られるように、文脈に依存する引数の典型性をどの程度捉えることができるか？
• RQ5 Chowら（2015）の報告どおり、通常文と役割が逆転した文の間でN400差が有意でないことを、構造的モデルが再現できるか？

主な発見

• 構造的モデルは、非構造的モデルと比較して、引数期待の更新タスクで有意に高い分類精度を達成した。
• 「引数の袋（bag-of-arguments）」モデルは、Bicknellら（2010）のデータセットにおいて、妥当な対と不適切な対のペアを区別できず、文脈に依存する典型性の把握に劣っていることが示された。
• 構造的モデルは、Chowら（2015）のERP結果を成功裏に再現し、通常文と役割が逆転した文の間でN400差が有意でないことを示した。
• 「語の袋（bag-of-words）」モデルも、妥当な条件と不適切な条件を区別できず、引数の典型性に対する感受性が限定的であることが示された。
• 役割の逆転に対するN400の感受性の欠如を再現したが、構造的モデルは通常構成と逆転構成を区別する能力が60％を超えて維持されており、構造的情報が予測性能を向上させることを示している。
• 結果は、構造的情報が分布的意味解析における主題的適合および引数期待のモデル化において顕著な利点を提供することを支持している。