[論文レビュー] Benchmarking Knowledge-Enhanced Commonsense Question Answering via Knowledge-to-Text Transformation

Ning Bian, Xianpei Han+2 more|arXiv (Cornell University)|Jan 4, 2021

Topic Modeling参考文献 42被引用数 6

ひとこと要約

本稿では、外部知識を統合した常識的質疑応答（CQA）のベンチマークを目的として、常識的知識グラフからの構造化された知識を自然言語テキストに変換するフレームワークを提案する。このアプローチにより、CommonsenseQAで最先端の性能を達成し、現在のモデルが外部知識の潜在的価値のほんの一部しか活用していないことが明らかになった。これにより、文脈に応じた知識選択、異種知識の活用、常識を豊富に含む言語モデルの構築が、今後の主な研究方向性であることが示された。

ABSTRACT

A fundamental ability of humans is to utilize commonsense knowledge in language understanding and question answering. In recent years, many knowledge-enhanced Commonsense Question Answering (CQA) approaches have been proposed. However, it remains unclear: (1) How far can we get by exploiting external knowledge for CQA? (2) How much potential of knowledge has been exploited in current CQA models? (3) Which are the most promising directions for future CQA? To answer these questions, we benchmark knowledge-enhanced CQA by conducting extensive experiments on multiple standard CQA datasets using a simple and effective knowledge-to-text transformation framework. Experiments show that: (1) Our knowledge-to-text framework is effective and achieves state-of-the-art performance on CommonsenseQA dataset, providing a simple and strong knowledge-enhanced baseline for CQA; (2) The potential of knowledge is still far from being fully exploited in CQA -- there is a significant performance gap from current models to our models with golden knowledge; and (3) Context-sensitive knowledge selection, heterogeneous knowledge exploitation, and commonsense-rich language models are promising CQA directions.

研究の動機と目的

• 現在の知識強化CQAモデルが、外部の常識的知識をどの程度効果的に活用しているかを評価すること。
• 特に知識選択と統合の面で、既存モデルにおける知識活用の限界を特定すること。
• 知識からテキストへの変換を用いて、シンプルで汎用的かつ強力なベースラインを確立すること。
• 実世界の知識を用いるモデルと、完璧な（ゴールデン）知識を用いるモデルとの間の性能差を調査すること。
• 今後の研究を導くために、知識強化CQAを進歩させる上で最も有望な方向性を同定すること。

提案手法

• 質問文の文脈に基づいて、常識的知識グラフ（CKG）から関連する事実を取得する。
• 3つの手法（テンプレートベース、言い換えベース、リtrieバルベース）を用いて、構造化された知識トリプルを自然言語の記述に変換する。
• テキスト化された知識を元の質問と回答候補と統合し、機械読解（MRC）フレームワークに組み込む。
• 事前学習済みMRCモデル（例：BERT、RoBERTa）を用いて、質問と強化されたテキスト知識に基づき回答を予測する。
• 公平で一般化可能なベンチマークを確保するため、複数の標準的なCQAデータセットに統一されたフレームワークを適用する。
• 3つの知識状態（実世界で取得された知識、ノイズを含む知識、ゴールデン知識＝完璧な事実）におけるモデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 現在の最先端の知識強化CQAモデルは、外部知識の潜在的価値の何パーセントを活用しているのか？
• RQ2 既存の知識統合手法と比較して、知識からテキストへの変換はCQA性能をどの程度向上させるのか？
• RQ3 知識強化CQAにおける主な失敗モードは何か。それらは知識の品質や選択にどのように関係しているか？
• RQ4 知識統合のどの要素——文脈に応じた選択、異種知識の活用、言語モデルの能力——が性能に最も大きな影響を与えるのか？
• RQ5 シンプルな知識からテキストへの変換フレームワークは、知識強化CQAのための強力で汎用的なベースラインとして機能できるか？

主な発見

• 知識からテキストへの変換フレームワークは、CommonsenseQAデータセットで最先端の性能を達成し、知識強化CQAのシンプルで強力なベースラインを確立した。
• 実世界で取得した知識を用いるモデルとゴールデン知識を用いるモデルとの間に顕著な性能差が存在し、現在のモデルが利用可能な知識を部分的にしか活用していないことが示された。
• 70％を超えるモデルの誤りは、ノイズ混じりまたは関連のない知識に起因しており、文脈に応じた知識選択の重要性が強く強調された。
• 構造化された知識と自然言語との間の異種性が依然として主要なボトルネックであり、GNN やアテンションベースの手法よりも、単純な知識からテキストへの変換が優れた性能を示した。
• 現在の大規模言語モデル（例：BERT、XLNet）は、限定的な常識的知識をエンコードしているため、常識を豊富に含む言語モデルの開発が今後の有望な方向性であると考えられる。
• ConceptNet や Wikipedia などの多様な知識ソースを活用する異種知識の活用は、CQA性能の向上に強くポテンシャルを秘めている。