[論文レビュー] Towards Generalizable Neuro-Symbolic Systems for Commonsense Question Answering

Kaixin Ma, Jonathan Francis+3 more|arXiv (Cornell University)|Oct 30, 2019

Topic Modeling参考文献 40被引用数 9

ひとこと要約

本稿は、常識的質問応答のための神経記号的モデルにおける知識統合を調査し、アテンションに基づく統合とConceptNetおよびATOMICを用いた事前学習を比較している。アテンションに基づく統合が事前学習を上回ることを明らかにした。また、知識ベースとデータセットのドメイン整合性がモデルの成功にとって極めて重要であることも示した。

ABSTRACT

Non-extractive commonsense QA remains a challenging AI task, as it requires systems to reason about, synthesize, and gather disparate pieces of information, in order to generate responses to queries. Recent approaches on such tasks show increased performance, only when models are either pre-trained with additional information or when domain-specific heuristics are used, without any special consideration regarding the knowledge resource type. In this paper, we perform a survey of recent commonsense QA methods and we provide a systematic analysis of popular knowledge resources and knowledge-integration methods, across benchmarks from multiple commonsense datasets. Our results and analysis show that attention-based injection seems to be a preferable choice for knowledge integration and that the degree of domain overlap, between knowledge bases and datasets, plays a crucial role in determining model success.

研究の動機と目的

• 異なる知識ベース（ConceptNet、ATOMIC）および統合手法（アテンション、事前学習）が常識的QAパフォーランスに与える影響を分析すること。
• 知識ベースとQAデータセットの間のドメインオーバーラップがモデルの一般化に与える影響を調査すること。
• 知識統合手法が多様な常識的推論タスクのパフォーランスを向上させるかどうかを特定すること。
• 特定の質問タイプに最も有益な常識的知識の種別（例：因果的、関係的、手順的）を同定すること。
• 事前学習とアテンションに基づく統合の間のトレードオフを、モデルの頑健性および非整合タスクにおけるパフォーマンスの低下という観点から探ること。

提案手法

• DREAMおよびCommonsenseQAという2つの常識的QAベンチマークで、ConceptNetおよびATOMICを用いた知識インジェクションを適用したオプション比較ネットワーク（OCN）モデルを評価した。
• 2つの知識統合戦略を適用した：(1) BERTの隠れ状態に取得した知識トリプルをアテンションベースで統合し、(2) BERTをConceptNet（OMCS）またはATOMICの知識トリプルで事前学習させた。
• ConceptNetの関係（例：'Causes'、'Desires'）に基づいて質問を分類し、知識タイプごとのパフォーランスを分析した。
• アブレーションスタディを実施し、質問タイプおよび統合手法ごとのモデルパフォーランスを比較し、正確性と重み分布の変化を測定した。
• 推論中に動的に関連する知識トリプルに注目できるようにアテンション機構を用い、文脈に応じた知識統合を可能にした。
• 誤り分析を実施し、否定や反意語に基づく質問の処理における継続的な失敗モードを特定した。

実験結果

リサーチクエスチョン

• RQ1 アテンションに基づく知識統合は、常識的QAタスクにおけるパフォーランスと頑健性の観点で、知識ベースでの事前学習と比べてどのように異なるか？
• RQ2 知識ベースとQAデータセットの間のドメインオーバーラップが、モデルの成功にどの程度影響を及えるか？
• RQ3 因果的、関係的、手順的といった常識的知識のうち、どの種別が異なる質問カテゴリに対して最も効果的か？
• RQ4 知識ベースで事前学習すると、非整合な質問タイプでパフォーランスが低下するのか。もしそうなら、その理由は何か？
• RQ5 なぜモデルは反意語に基づく質問で苦戦するのか。これは現在の推論能力に何を示唆しているのか？

主な発見

• アテンションに基づく知識統合は、ドメイン整合性が不十分な場合でも一貫して事前学習を上回り、非常識的質問ではパフォーランスの低下を示さなかった。
• 知識ベースで事前学習すると、モデルの重み分布が顕著に変化し、知識ドメインに偏り、関連のない質問タイプではパフォーランスが低下した。
• 知識統合によるパフォーランス向上は、因果的、欲求、反応の推論を要する質問で顕著であり、ATOMICを用いて「Causes」および「Wants」関係を扱った場合に顕著だった。
• 否定や反意語を含む質問は常に最も困難であり、モデルが否定文の推論に苦労しているという、継続的なギャップを示している。
• ドメイン整合性が強い場合、アテンション統合と事前学習の両方がパフォーランスを向上させ、それらの組み合わせによりさらなる向上が得られた。
• ATOMICで事前学習したモデルは、「CausesDesire」と「Desires」タイプの質問でパフォーランスが向上し、ATOMICが社会的・感情的推論に特化していることと整合した。これは、意味的整合性の重要性を裏付けた。