[論文レビュー] Modeling Semantic Plausibility by Injecting World Knowledge

Su Wang, Greg Durrett+1 more|arXiv (Cornell University)|Apr 2, 2018

Topic Modeling参考文献 12被引用数 6

ひとこと要約

本論文は、例えて言えば男がペイントボールを飲み込むような、物理的に妥当ではあるがおそらく新しい出来事の識別に焦点を当てた、自然言語処理における新たなタスク「意味的妥当性」を導入する。物体のサイズ、重さ、物理的制約といった特性に関する手動で得られた世界知識を分散表現モデルに組み込む手法を提案し、3,062組の主語-動詞-目的語（s-v-o）トリプルで構成される、高い合意度を示す新規データセット上で、その組み込みが性能を顕著に向上させることを示している。ゴールド知識を用いた場合、F1スコアは最大0.74に達し、最小限のアノテーションから得られる知識伝搬を用いても、依然として高い性能を発揮している。

ABSTRACT

Distributional data tells us that a man can swallow candy, but not that a man can swallow a paintball, since this is never attested. However both are physically plausible events. This paper introduces the task of semantic plausibility: recognizing plausible but possibly novel events. We present a new crowdsourced dataset of semantic plausibility judgments of single events such as "man swallow paintball". Simple models based on distributional representations perform poorly on this task, despite doing well on selection preference, but injecting manually elicited knowledge about entity properties provides a substantial performance boost. Our error analysis shows that our new dataset is a great testbed for semantic plausibility models: more sophisticated knowledge representation and propagation could address many of the remaining errors.

研究の動機と目的

• 意味的妥当性というタスクを定義・形式化し、選択性の好みとは異なり、新規の出来事の物理的妥当性に焦点を当てる。
• 主語-動詞-目的語トリプル3,062組の高品質なクラウドソーシングデータセットを構築し、アノテーター間合意度が高く（≥3/5の投票）、妥当／不適切なラベルがバランスされていること。
• 物体のサイズ、重さ、物理的制約といった特性に関する手動で得られた世界知識を、意味的妥当性予測の性能向上に組み込むことで、それが有効であるかを検証すること。
• 最小限のアノテーションから得られるゴールドアノテーション例の知識伝搬が、アノテーションコストを抑える一方で、高い性能を維持できるかどうかを評価すること。
• 詳細な誤差分析を通じて、意味的妥当性のモデリングにおける持続的な課題を特定し、より豊かな知識表現の必要性を示すこと。

提案手法

• アマゾン・メカニカル・トルクを用いたクラウドソーシングによるデータ収集で、ターカーが物理的妥当性に基づいてs-v-oトリプルを生成・フィルタリングし、多様性と高い合意度を確保した。
• Brysbaertら（2014）の150語の具体的な動詞と450語の具体的な名詞の語彙を固定し、具体的性（concreteness）が4.95以上であるものに絞った。
• 5人のターカーの過半数（≥3人）による投票によるフィルタリングを経て3,062組のトリプルを構築し、100％が3人以上の合意、95％が4人以上の合意を達成した。
• サイズ、重さ、食用可否、物理的特性といった世界知識特徴をニューラル分類器に組み込み、妥当性予測の性能を向上させた。
• 信念伝搬（Ordinal-LR）を用いて、少数のゴールドアノテーション例から得た知識を、データセット全体に伝搬させ、低コストでの知識注入を実現した。
• 全データセット上で10-fold交差検証を用いて、世界知識を注入した・しない両方のニューラルネットワーク分類器（nn）を訓練し、性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 分散表現モデルだけでは、新規の出来事の意味的妥当性を効果的に予測できるのか、それとも物理的に妥当ではあるがまれな出来事では失敗するのか？
• RQ2 特に物体の物理的特性に関する手動で得られた世界知識を注入することで、意味的妥当性予測の性能がどの程度向上するのか？
• RQ3 少数のゴールドアノテーション例から得られる知識伝搬が、完全なアノテーションと同等の性能を近似できるか、その有効性はいかほどか？
• RQ4 どの種類の世界知識が、妥当な出来事と不適切な出来事の区別に最も重要であり、どの知識がまだモデル化が難しいのか？
• RQ5 現在のモデルの主な失敗モードは何か。それらを克服するにはどのような知識表現が必要なのか？

主な発見

• 世界知識を注入しないニューラルモデル（nn）は、意味的妥当性タスクでF1スコア0.65を達成しており、分散表現データだけではこのタスクには不十分であることが示された。
• ゴールドスタンダードの世界知識特徴を注入したモデル（nn + wk-gold）では、F1スコアが0.74に向上し、明示的な物理的知識の効果が顕著に確認された。
• 少数のゴールドアノテーション例から得た知識伝搬（nn + wk-prop）を用いた場合、F1スコア0.71という高い性能を達成し、最小限のアノテーションで高品質な結果を得られることを示した。
• 誤差分析から、ベースモデルが失敗したが知識注入モデルが成功したケースの60％が、サイズや重さの制約に起因していることが判明し、こうした特徴の重要性が浮き彫りになった。
• 最も持続的な誤差タイプはデータスパarsity（32％）と極めて特定的な属性（68％）であり、特に食用可否（21％）、自然物対人工物（18％）、中空の物体（15％）、足の指の器用さ（5％）が含まれ、現在の知識表現にギャップがあることが示された。
• 本研究は、分散表現モデルでは意味的妥当性のタスクに失敗するが、世界知識の注入（特に伝搬を併用した場合）により、低コストでコアな課題を効果的に解決できることを示している。