[論文レビュー] Generating Commonsense Explanation by Extracting Bridge Concepts from Reasoning Paths

Haozhe Ji, Pei Ke+3 more|arXiv (Cornell University)|Sep 24, 2020

Topic Modeling参考文献 28被引用数 10

ひとこと要約

本稿では、ConceptNet内のマルチホップ推論経路からブリッジ概念を抽出し、その後にこれらの概念を活用して事前学習済み言語モデルを用いて説明を生成する二段階フレームワークを提案する。この手法は、自動評価および人的評価の両方で最先端のベースラインを上回り、外部知識に根拠を置いた推論により、より情報量が多く信頼性の高い説明を生成する。

ABSTRACT

Commonsense explanation generation aims to empower the machine's sense-making capability by generating plausible explanations to statements against commonsense. While this task is easy to human, the machine still struggles to generate reasonable and informative explanations. In this work, we propose a method that first extracts the underlying concepts which are served as extit{bridges} in the reasoning chain and then integrates these concepts to generate the final explanation. To facilitate the reasoning process, we utilize external commonsense knowledge to build the connection between a statement and the bridge concepts by extracting and pruning multi-hop paths to build a subgraph. We design a bridge concept extraction model that first scores the triples, routes the paths in the subgraph, and further selects bridge concepts with weak supervision at both the triple level and the concept level. We conduct experiments on the commonsense explanation generation task and our model outperforms the state-of-the-art baselines in both automatic and human evaluation.

研究の動機と目的

• 反共通認識の文に対して情報量が多く信頼性のある共通認識の説明を生成する課題に取り組む。
• 神経的シーケンス・トゥ・シーケンスモデルが単調または情報のない説明を生成するという限界を克服する。
• 大規模な知識グラフからの外部知識を明示的に組み込むことで、共通認識知識への忠実性を向上させる。
• 文と妥当な説明を結ぶ意味のあるブリッジ概念を特定・抽出する。
• 構造化された推論経路と弱教師付きの概念選択を活用して、説明生成を向上させるフレームワークを開発する。

提案手法

• 入力文のソース概念を用いてConceptNetからマルチホップ推論経路を取得し、カバレッジを維持しながらスケールを低減するためのヒューリスティックなプルーニングを実施する。
• 文脈情報とグラフに配慮した情報の両方を用いてノード表現を統合し、サブグラフ表現を向上させる。
• 三項対のスコアリング、経路に沿った確率の伝搬、弱教師付きの监督を三項レベルおよび概念レベルで適用して、キーパーソンを特定するブリッジ概念抽出モデルを設計する。
• 事前学習済み言語モデル（例：GPT-2）を用い、入力文と抽出されたブリッジ概念を条件として、最終的な説明を生成する。
• 経路ルーティングと確率伝搬を適用し、推論チェーン内で論理的中間者として機能する最も関連性の高い概念を同定する。
• テキスト的知識と構造的知識を統合し、意味的に根拠があり、文脈的に適切な説明を生成する。

実験結果

リサーチクエスチョン

• RQ1 反共通認識の文に対して、情報量が多く共通認識知識に忠実な説明をどのように生成できるか。
• RQ2 ブリッジ概念は、文と妥当な説明を結ぶ役割を果たすか。
• RQ3 知識グラフ内のマルチホップ推論経路から意味のあるブリッジ概念を効果的に抽出する方法は何か。
• RQ4 エンドツーエンドのシーケンス生成と比較して、弱教師付きの概念選択は説明の質を向上させられるか。
• RQ5 知識グラフからの構造的知識を統合することで、純粋な神経的シーケンスモデルに比べて説明生成がどのように向上するか。

主な発見

• 本モデルは、自動評価および人的評価の両方で、GPT-2を含むすべての強力なベースラインを上回った。
• 人的評価では、妥当性（p値 < 0.005）と情報量（p値 < 0.005）において顕著な優位性が示され、妥当性のFleiss’ kappaは0.429、情報量のFleiss’ kappaは0.433であった。
• モデルは、歯磨き粉が食べられないという単なる主張ではなく、清掃剤としての機能を明確に説明するなど、より新しい関連情報を持つ説明を生成した。
• 誤差分析の結果、語彙選択、繰り返し、過剰表現の回避という点で依然として課題が残っており、GPT-2とのペアワイズ比較で100件中26件が失敗した。
• マルチホップ経路とブリッジ概念抽出の活用により、モデルはより論理的根拠に基づいた説明を生成でき、幻覚の発生リスクが低減された。
• 「売却」「使用」「映画」などの重要な概念を効果的に特定・利用し、整合性があり文脈的に適切な説明を構築できた。