[論文レビュー] CKBP v2: Better Annotation and Reasoning for Commonsense Knowledge Base Population

Tianqing Fang, Quyet V. Do+5 more|arXiv (Cornell University)|Apr 20, 2023

Topic Modeling被引用数 7

ひとこと要約

CKBP v2 は、共通知識ベースポピュレーションのための高品質で専門家がアノテートした評価ベンチマークを導入し、CKBP v1 の欠点を是正する。CKBP v1 がクラウドソーシングによるアノテーションとランダムサンプリングに依存していたのに対し、CKBP v2 では専門家によるラベル付けに置き換えられ、多様な敵対的サンプルが組み込まれることで代表性和と難易度が向上した。大規模言語モデル（LLM）を含む最先端のモデルでさえ性能が低く、このタスクが依然として極めて困難であることが示された。

ABSTRACT

Commonsense Knowledge Bases (CSKB) Population, which aims at automatically expanding knowledge in CSKBs with external resources, is an important yet hard task in NLP. Fang et al. (2021a) proposed a CSKB Population (CKBP) framework with an evaluation set CKBP v1. However, CKBP v1 relies on crowdsourced annotations that suffer from a considerable number of mislabeled answers, and the evaluationset lacks alignment with the external knowledge source due to random sampling. In this paper, we introduce CKBP v2, a new high-quality CSKB Population evaluation set that addresses the two aforementioned issues by employing domain experts as annotators and incorporating diversified adversarial samples to make the evaluation data more representative. We show that CKBP v2 serves as a challenging and representative evaluation dataset for the CSKB Population task, while its development set aids in selecting a population model that leads to improved knowledge acquisition for downstream commonsense reasoning. A better population model can also help acquire more informative commonsense knowledge as additional supervision signals for both generative commonsense inference and zero-shot commonsense question answering. Specifically, the question-answering model based on DeBERTa-v3-large (He et al., 2023b) even outperforms powerful large language models in a zero-shot setting, including ChatGPT and GPT-3.5.

研究の動機と目的

• CKBP v1 がクラウドソーシングによるアノテーションとランダムサンプリングに依存しており、品質が低く代表的でないという問題を是正すること。
• 自然言語処理研究者で機械的共通知識の専門性を持つ者による専門家アノテーションにクラウドソーシングラベルを置き換えることで、評価の信頼性を向上させること。
• 自信のあるLLMの予測から生成された敵対的構築サンプルを組み込むことで、データセットの多様性と難易度を向上させること。
• 今後のCSKBポピュレーションモデルの評価のための、より厳密なベンチマークを確立すること。
• 大規模言語モデル（LLM）を含む最先端のモデルですら、分布外（OOD）および敵対的例に対して困難を抱えることから、タスクの残存する難易度を浮き彫りにすること。

提案手法

• 関係の比率を維持するため、CKBP v1 からランダムに 2.5k 個のインスタンスをサンプリングし、バランスの取れた表現を確保した。
• 微調整された KG-BERT モデルが妥当性スコア ≥ 0.9 で確信を持って妥当と分類した ASER からの三つ組みを用いて、2.5k 個の敵対的インスタンスを生成した。
• 自己BLEUを用いた多様性フィルタを適用し、敵対的サンプルが意味的に明確に異なること、重複しないことを保証した。
• NLPおよび共通知識推論の経験を持つ4名の専門家アノテーターを雇い、全 5,000 個のインスタンスについて妥当性をラベル付けした。
• 判別モデルにおける関係表現には特別なトークン [r] を使用し、ゼロショット LLM 推論のためのプロンプトフォーマットを調整した。
• 判別型（KG-BERT）および生成型（COMET, GPT2）モデルを対象に、ゼロショットおよび半教師あり設定を含む広範な実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 専門家アノテーションデータは、クラウドソーシングによるアノテーションと比較して、CSKBポピュレーション評価ベンチマークの信頼性と品質を著しく向上させるか？
• RQ2 敵対的に構築されたサンプルの組み込みは、評価セットの難易度と代表的特性を向上させるか？
• RQ3 最先端のモデル、特に ChatGPT などの LLM は、CKBP v2 ベンチマークにおいて CKBP v1 と比較してどの程度の性能を示すか？
• RQ4 モデルは、共通知識推論における分布外（OOD）および敵対的例にどの程度一般化できるか？
• RQ5 未知または複雑な共通知識シナリオにおいて、モデルの予測を妨げる主な失敗パターンは何か？

主な発見

• CKBP v2 では 3,852 個の語彙項目のうちたった 83 個のアーチファクトしか含まず、その頻度が低いため、評価セットの品質に顕著な影響を与えない。
• OOD サブセットにおける F1 スコアは、敵対的サブセットよりも低い。これは、妥当なサンプルの割合が低く、敵対的セットでは再現率が高いからである。
• GPT2-large と GPT2-XL はパラメータ数の違いにもかかわらず、類似した性能を示しており、このタスクではスケールの増大に伴う収益の逓減が見られる。
• KG-BERT は AUC において COMET(GPT2) を大きく上回り、正例と負例の両方の三つ組みで学習したことで、優れた判別能力を示した。
• すべてのモデル、ChatGPT を含む、OOD 一般化問題に著しく苦しんでおり、未知の共通知識シナリオに対する耐性が低いことが示された。
• エラーのパターンには、意味的に関連しているが妥当でない三つ組みを妥当と誤分類する、および未知のエンティティや出来事を持つ妥当な三つ組みを誤って拒否する、といったものがある。