[論文レビュー] Reliable Natural Language Understanding with Large Language Models and Answer Set Programming

Abhiramon Rajasekharan, Yankai Zeng+2 more|arXiv (Cornell University)|Feb 7, 2023

Topic Modeling参考文献 27被引用数 5

ひとこと要約

この論文では、意味解析のための大規模言語モデル（LLMs）と、信頼性があり説明可能な推論を実現するための答え集合プログラミング（ASP）を組み合わせたフレームワーク、STARを提案する。LLMsを用いてテキストから述語を抽出し、ASPを用いて目的志向的で論理的な推論を実行することで、特に小規模なLLMsにおいても推論の正確性が顕著に向上する。また、質的推論、数学的単語問題、インタラクティブなコンシェルジュ会話のあらゆる分野で、完全な説明可能性を実現する証明木を生成する。

ABSTRACT

Humans understand language by extracting information (meaning) from sentences, combining it with existing commonsense knowledge, and then performing reasoning to draw conclusions. While large language models (LLMs) such as GPT-3 and ChatGPT are able to leverage patterns in the text to solve a variety of NLP tasks, they fall short in problems that require reasoning. They also cannot reliably explain the answers generated for a given question. In order to emulate humans better, we propose STAR, a framework that combines LLMs with Answer Set Programming (ASP). We show how LLMs can be used to effectively extract knowledge -- represented as predicates -- from language. Goal-directed ASP is then employed to reliably reason over this knowledge. We apply the STAR framework to three different NLU tasks requiring reasoning: qualitative reasoning, mathematical reasoning, and goal-directed conversation. Our experiments reveal that STAR is able to bridge the gap of reasoning in NLU tasks, leading to significant performance improvements, especially for smaller LLMs, i.e., LLMs with a smaller number of parameters. NLU applications developed using the STAR framework are also explainable: along with the predicates generated, a justification in the form of a proof tree can be produced for a given output.

研究の動機と目的

• LLMsが複雑な推論タスクにおいて、誤った推論や説明可能性の欠如により頻繁に誤りを犯すという限界を克服すること。
• 意味解析、一般常識知識、明示的な推論を統合することで、人間のような言語理解を模倣するシステムを開発すること。
• 特に推論能力が制限された小規模なLLMsを対象として、マルチステップ推論を要するNLUアプリケーションの性能と信頼性を向上させること。
• 推論プロセスを追跡できる証明木を用いて、出力の説明可能性を提供することで、透明性とエラー解析を可能にすること。
• 幻覚現象や矛盾を避け、ユーザーが提供した情報を正しく追跡・推論できる、対話的で目的志向の会話が可能になること。

提案手法

• 微調整済みまたはインライン学習を用いたLLMs（例：GPT-3の変種）を用いて、自然言語を意味を表す論理的述語に変換する。
• ドメイン固有の一般常識知識を答え集合プログラミング（ASP）のルールとしてエンコードし、形式的で論理的な推論を可能にする。
• LLMが抽出した述語とASPで記述された知識の統合知識ベース上で、目的志向のASPソルバ（s(CASP)）を用いてクエリを実行する。
• ユーザーの質問や会話の目的を表すクエリを、手動またはLLMsを介して生成する。
• ASPの推論プロセスから、各回答の正当性を示す証明木を生成し、出力の説明可能性を提供する。
• フレームワークを、質的推論、数学的単語問題、インタラクティブなコンシェルジュ会話の3つの異なるNLUアプリケーションに統合する。

実験結果

リサーチクエスチョン

• RQ1 LLMsとASPを組み合わせることで、LLMs単体に比べてNLUタスクにおける推論性能が向上するか？
• RQ2 STARフレームワークは、マルチステップ論理を要するタスクにおいて、小規模なLLMsの推論誤りを低減するか？
• RQ3 推論プロセスを追跡できる証明木を用いて、説明可能な出力を生成できるか？
• RQ4 エンドツーエンドのLLMベースのボットと比較して、対話的で目的志向の会話において、このフレームワークはどのように性能を発揮するか？
• RQ5 意味解析（LLM）と推論（ASP）の分離が、信頼性と知識の透明性をどの程度向上させるか？

主な発見

• STARは、質的推論および数学的単語問題のタスクで、回答予測の正確性を顕著に向上させ、特にパラメータ数が約6.7Bの小規模なLLMs（例：Curie）において顕著な向上が見られた。
• フレームワークは、各回答の正当性を示す証明木を生成し、LLMs単体では実現できない完全な説明可能性と推論の透明性を実現した。
• コンシェルジュ会話タスクにおいて、STARベースのボットは一貫性を保ち、LLMs単体の対応と異なり、幻覚現象やユーザーが提供した情報を混同する事態を回避した。
• 対話的環境では、欠落している情報を正しく特定し、要求することで、より信頼性が高く一貫性のある対話を実現した。
• LLMで抽出された述語とASP知識の統合により、推論の失敗を診断し、一般常識知識の欠落を特定できるようになった。
• STARは、質的推論のQuaRelデータセットの多くにおいて、最先端の性能を達成し、構造的推論タスクにおける有効性を示した。