[論文レビュー] Learning Contextualized Knowledge Structures for Commonsense Reasoning

Jun Yan, Mrigank Raman+7 more|arXiv (Cornell University)|Oct 24, 2020

Advanced Graph Neural Networks参考文献 54被引用数 4

ひとこと要約

本稿では、統一されたグラフ構造内での抽出済みおよび生成済みの一般常識的事実を統合的に推論する、知識グラフ拡張型モデルであるハイブリッドグラフネットワーク（HGN）を提案する。HGNは、エッジの再重み付けと文脈に無関係なエッジのフィルタリングを学習することで、4つの一般常識推論ベンチマークで最先端の性能を達成し、CommonsenseQAおよびOpenbookQAのリーダーボードで1位を獲得した。人的評価により、エッジの妥当性と有用性が向上していることが確認された。

ABSTRACT

Recently, knowledge graph (KG) augmented models have achieved noteworthy success on various commonsense reasoning tasks. However, KG edge (fact) sparsity and noisy edge extraction/generation often hinder models from obtaining useful knowledge to reason over. To address these issues, we propose a new KG-augmented model: Hybrid Graph Network (HGN). Unlike prior methods, HGN learns to jointly contextualize extracted and generated knowledge by reasoning over both within a unified graph structure. Given the task input context and an extracted KG subgraph, HGN is trained to generate embeddings for the subgraph's missing edges to form a "hybrid" graph, then reason over the hybrid graph while filtering out context-irrelevant edges. We demonstrate HGN's effectiveness through considerable performance gains across four commonsense reasoning benchmarks, plus a user study on edge validness and helpfulness.

研究の動機と目的

• 一般常識推論タスクにおける疎でノイズの多い知識グラフエッジの限界を解消すること。
• 抽出済みおよび生成済みの知識事実を統合的に文脈化することで、モデルの性能を向上させること。
• 静的でヒューリスティックなKGサブグラフに依存するのを減らし、動的で文脈に適応したエッジ表現を学習すること。
• 不要な事実をフィルタリングするエッジ再重み付けを通じて、推論品質を向上させること。
• ハイブリッド知識構造が、静的抽出のみに比べてより妥当で有用なエッジを生み出すことを検証すること。

提案手法

• HGNは、タスク固有のKGサブグラフ（抽出済み）とPLMが生成するエッジを組み合わせることでハイブリッドグラフを構築する。
• サブグラフ内の欠落エッジのためのエッジ埋め込みを学習し、統一された「ハイブリッド」グラフ構造を形成する。
• ノード、エッジ、テキスト特徴量を用いたアテンションにより学習される重みを用いて、文脈に無関係なエッジの重みを低下させる。
• エッジ重みを用いてメッセージパッシングを実行し、推論中にノイズや無関係なエッジの影響を弱める。
• グラフエンコーダーとテキストエンコーダーを同時に学習し、予測のためのスコア関数を用いるエンドツーエンドの訓練を行う。
• ソフトプリーニングは、トレーニング中に低重みのエッジの割合を示す「プリーニング率」の指標で測定される。

実験結果

リサーチクエスチョン

• RQ1 抽出済みおよび生成済みの両知識を統合的に推論することで、一般常識推論の性能が向上するか？
• RQ2 ハイブリッドグラフ構造におけるエッジ再重み付けは、不要またはノイズの多い事実のフィルタリングを改善するか？
• RQ3 HGNが生成するエッジは、ヒューリスティック抽出手法に比べてより妥当で有用か？
• RQ4 HGNは、抽出済みおよび生成済みの事実を別々に処理するか、後フェージョン処理する手法と比較してどうか？
• RQ5 HGNは、より高い耐性を示しながら、多様な一般常識推論ベンチマークに一般化可能か？

主な発見

• HGNは4つの一般常識推論ベンチマークで最先端の性能を達成し、すべてのベースラインを上回った。
• HGNは、同等の手法の中でCommonsenseQAのリーダーボードで1位、OpenbookQAのリーダーボードでも1位を獲得した。
• 人的評価により、HGNがフィルタリングしたエッジはヒューリスティックに抽出されたエッジよりも著しく妥当性と有用性が高かった。
• プリーニング率の指標により、HGNがトレーニング中に無関係なエッジの大部分を効果的にソフトプリーニングしていることが示された。
• Fleiss’ Kappaスコアが妥当性で0.51、有用性で0.36であり、エッジ品質に関するアノテーター間の一致度が中程度からやや低い水準であることが確認された。
• HGNが精錬したグラフは、元の抽出済みグラフに比べてより多くの妥当なエッジを含み、有用な事実がより密度高く集約されている。