[論文レビュー] A Knowledge Hunting Framework for Common Sense Reasoning

Ali Emami, Noelia De La Cruz+3 more|arXiv (Cornell University)|Jan 1, 2018

Topic Modeling参考文献 21被引用数 4

ひとこと要約

本論文では、共通の知識を動的に取得・分類するための知識探索フレームワークを提案する。このフレームワークは、問題の構造からターゲットとなるクエリを生成し、検索結果から関連する証拠を抽出・重み付けすることで、代名詞の照応解消および因果的推論タスクを解決する。F1スコア0.51を達成し、前人最高の0.30を0.21上回り、0.5のF1スコアを超える最初のシステムである。

ABSTRACT

We introduce an automatic system that achieves state-of-the-art results on the Winograd Schema Challenge (WSC), a common sense reasoning task that requires diverse, complex forms of inference and knowledge. Our method uses a knowledge hunting module to gather text from the web, which serves as evidence for candidate problem resolutions. Given an input problem, our system generates relevant queries to send to a search engine, then extracts and classifies knowledge from the returned results and weighs them to make a resolution. Our approach improves F1 performance on the full WSC by 0.21 over the previous best and represents the first system to exceed 0.5 F1. We further demonstrate that the approach is competitive on the Choice of Plausible Alternatives (COPA) task, which suggests that it is generally applicable.

研究の動機と目的

• 構文を超えた世界知識を必要とする、自然言語処理における共通の知識推論の課題、特に曖昧な代名詞や因果関係の解消に取り組む。
• 静的知識ベースや、共通の知識の広がりや多様性を捉えきれない神経ネットワークモデルの限界を克服する。
• Webから動的に知識を取得することで、Winograd Schema Challengeのすべてのインスタンス（限定されたサブセットに限らない）を解ける汎用システムを開発する。
• 本アプローチが、Choice of Plausible Alternatives (COPA) タスクを含む他の共通の知識推論タスクへも一般化可能であることを示す。
• 情報検索を活用して現実世界のテキスト証拠を活用することで、Winograd Schema Challengeにおける性能を、従来の手法を超えて向上させる。

提案手法

• 問題の構造を解析し、キーワードのエンティティ、述語、関係を捉える意味的表現スキーマに変換する。
• 構文的および意味的ヒントを用いて、関連性を高めるために、スキーマからターゲットとなる検索クエリを生成する。
• 検索エンジンを用いて候補知識を含むWebスニペットを取得し、NLPツールを用いてパースおよびフィルタリングする。
• 構文的および意味的整合性に基づいて、候補解像との整合性を評価し、妥当性のヒューリスティクスを用いて証拠を分類・スコア化する。
• 複数のスニペットにわたる証拠強度を重み付き投票で統合し、最も支持される先行詞または代替肢を選択する。
• COPA用にフレームワークを適応させ、各候補に対して二重のクエリセットを生成し、取得結果に時間的または因果的順序を強制する。

実験結果

リサーチクエスチョン

• RQ1 動的Webベースの知識取得は、静的知識ベースや神経モデルに比べ、共通の知識推論タスクで優れていると言えるか？
• RQ2 Webからの現実世界のテキスト証拠は、Winograd Schema Challengeにおける曖昧な代名詞参照をどの程度解消できるか？
• RQ3 知識探索フレームワークは、COPAのような他の共通の知識推論タスクへ効果的に一般化できるか？
• RQ4 クエリ生成の質と結果フィルタリングは、システムの信頼性および性能にどのような影響を与えるか？
• RQ5 情報検索技術は、既存のコーパスに含まれない長尾的・暗黙的・希少な共通の知識を効果的にモデル化できるか？

主な発見

• 提案された知識探索フレームワークは、Winograd Schema Challengeの全テストセットでF1スコア0.51を達成し、前人最高の0.30を0.21上回った。
• これは、Winograd Schema ChallengeでF1スコア0.5を超える最初のシステムであり、性能向上の大きな飛躍を示している。
• COPAタスクにおいても、簡略化されたAGQ手法を用いてテストセットで66.2%の正答率を達成し、汎用性の可能性を示した。
• クエリ拡張にWordNetの類義語を用いたが、COPAでは性能向上に寄与せず、むしろノイズを導入する可能性があった。これは、類義語の挿入には慎重なフィルタリングが必要であることを示唆している。
• 誤った結果の主な原因は、不完全なクエリ（例：「couldn't lift」の文脈が欠落）や、パースエラー（例：「lift」を動詞として誤ってラベル付け）およびノイズ混じり・不完全なスニペットに起因していた。
• 本フレームワークは、自然言語テキストに、妥当性に関する一般的な世界知識が暗黙的に埋め込まれており、推論タスクに有効に抽出可能であることを示している。