[論文レビュー] Generated Knowledge Prompting for Commonsense Reasoning

Jiacheng Liu, Alisa Liu+6 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling被引用数 47

ひとこと要約

本論文は Generated Knowledge Prompting (GKP) を提案し、言語モデルから知識ステートメントを生成して質問に同伴させ、構造化された知識ベースやタスク特異的監督なしで四つの常識ベンチマークの性能を向上させる。 GKP は NumerSense、CommonsenseQA 2.0、QASC において、さまざまな設定で新しい state-of-the-art を達成する。

ABSTRACT

It remains an open question whether incorporating external knowledge benefits commonsense reasoning while maintaining the flexibility of pretrained sequence models. To investigate this question, we develop generated knowledge prompting, which consists of generating knowledge from a language model, then providing the knowledge as additional input when answering a question. Our method does not require task-specific supervision for knowledge integration, or access to a structured knowledge base, yet it improves performance of large-scale, state-of-the-art models on four commonsense reasoning tasks, achieving state-of-the-art results on numerical commonsense (NumerSense), general commonsense (CommonsenseQA 2.0), and scientific commonsense (QASC) benchmarks. Generated knowledge prompting highlights large-scale language models as flexible sources of external knowledge for improving commonsense reasoning. Our code is available at https://github.com/liujch1998/GKP

研究の動機と目的

• 大規模事前学習済みモデルにおいて外部知識が常識推論に有益かどうかを調査する。
• タスク特異的な監督や厳選された知識ベースに依存しない知識生成アプローチを開発する。
• 生成された知識がゼロショットおよびファインチューニング済みモデルを複数のベンチマークで改善できることを示す。
• 推論を強化するための生成知識の品質、量、および統合戦略を示す。

提案手法

• 言語モデル（GPT-3）を用いたfew-shot prompting 設定で質問に関連する知識ステートメントを生成する。
• 質問を条件として継続をサンプリングして質問ごとに M 個の知識ステートメントを作成する。
• 各知識ステートメントと結合した質問を使って推論モデルに入力することで知識を統合し、p_I(a|q_m) によって最高信頼度の予測を選択する。
• 最良の支援知識と対応する回答を選ぶ集約戦略を用いる。
• 知識なし、ランダム/文脈文、テンプレートベースの自己対話、取得ベースの知識などのベースラインと比較する。
• ゼロショットおよびファインチューニング済み推論モデルで NumerSense、CommonsenseQA、CommonsenseQA 2.0、QASC を評価する。

実験結果

リサーチクエスチョン

• RQ1 生成された自然言語の知識ステートメントは、タスク特異的な監督なしで常識推論を改善できるか。
• RQ2 生成知識の品質と量は、異なるデータセットでの性能にどう影響するか。
• RQ3 推論時に複数の知識ステートメントを活用するにはどの統合戦略が最適か。
• RQ4 GKP はテンプレートベース、ランダム、文脈、取得ベースのベースラインとどう比較されるか。

主な発見

• GKP は NumerSense、CSQA、CSQA2、QASC のゼロショットおよびファインチューニング済みモデルの性能を向上させる。
• NumerSense では、GKP が従来の最良ゼロショット手法より 6% の改善をもたらす。
• CSQA2 では、GKP が非取得法の最新の最先端を約2ポイント改善。
• QASC では、GKP が最新の最先端を約3ポイント改善。
• 知識の品質、量、および統合戦略が性能の主な推進要因であり、高品質なステートメントを増やすとおおよそ M=20 個程度まで効果が高まる。
• GKP は多くのケースで取得ベースのアプローチと同等またはそれを上回ることがあり、より小さな推論モデルを大幅に拡張する。