[論文レビュー] Logical Reasoning over Natural Language as Knowledge Representation: A Survey

Zonglin Yang, Xinya Du+3 more|arXiv (Cornell University)|Mar 21, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿は、自然言語を知識表現として用い、事前学習言語モデル（PLM）を推論エンジンとして用いる新しいパラダイム、自然言語上での論理的推論（LRNL）を紹介する。これは、記号的・エンドツーエンドのニューラル手法の両者に優る利点を提供する。LRNLにおける演繹的・帰納的・帰謬的推論について包括的なサーベイを実施し、ベンチマーク、課題、今後の方向性を含む。

ABSTRACT

Logical reasoning is central to human cognition and intelligence. It includes deductive, inductive, and abductive reasoning. Past research of logical reasoning within AI uses formal language as knowledge representation and symbolic reasoners. However, reasoning with formal language has proved challenging (e.g., brittleness and knowledge-acquisition bottleneck). This paper provides a comprehensive overview on a new paradigm of logical reasoning, which uses natural language as knowledge representation and pretrained language models as reasoners, including philosophical definition and categorization of logical reasoning, advantages of the new paradigm, benchmarks and methods, challenges of the new paradigm, possible future directions, and relation to related NLP fields. This new paradigm is promising since it not only alleviates many challenges of formal representation but also has advantages over end-to-end neural methods. This survey focus on transformer-based LLMs explicitly working on deductive, inductive, and abductive reasoning over English representation.

研究の動機と目的

• 自然言語を知識表現として、PLMを推論エンジンとして用いることで、AI分野における新しいパラダイムとして、自然言語上での論理的推論（LRNL）を導入・形式化すること。
• 自然言語の表現力とアクセスしやすさを活用することで、従来の記号的推論の欠如（脆さ、知識獲得のボトルネック）を是正すること。
• 演繹的・帰納的・帰謬的推論の統合的サーベイを提供すること。これには、タスク定式化、データセット、手法が含まれる。
• 評価、スケーラビリティ、推論メカニズムにおける主な課題を特定し、より強固で汎用性の高い推論システムを実現するための今後の研究方向性を提案すること。
• チェーン・オブ・トゥーク（CoT）のようなエンドツーエンドのLLMプロンプト技術とは異なり、モジュラーでファインチューニング可能かつ神経記号的（neuro-symbolic）な性質を持つことから、LRNLの特徴を明確にすること。

提案手法

• 形式的論理（例：一階論理）に代えて、自然言語を知識表現フォーマットとして使用することで、より人間が理解しやすくアクセスしやすい知識のエンコードを可能にする。
• 事前学習言語モデル（PLM）を推論エンジンとして採用し、Few-shotプロンプティングや推論タスクにおけるファインチューニングによって推論を実現する。
• 知識ベースから関連するテクスト的前件を取得することで、繰り返し推論を可能にする。
• 各推論ステップを単一のPLM推論として扱うモジュラーなフレームワークを導入し、追跡可能で解釈可能な推論チェーンを実現する。
• 記号的推論の構造と非記号的ニューラル推論を組み合わせた神経記号的アプローチを提案することで、制御性と説明可能性を向上させる。
• https://github.com/ZonglinY/LRNL-bench.git にホスティングされたキュレートされたベンチマークに依存し、演繹的・帰納的・帰謬的推論タスクのパフォーマンスを評価する。

Figure 1: Comparison between the previous paradigm which uses formal representation and symbolic reasoner, and the new paradigm which uses natural language as knowledge representation and PLM as reasoner.

実験結果

リサーチクエスチョン

• RQ1 形式的論理の代わりに自然言語を知識表現として用いることで、論理的推論をどのように再定義できるか？
• RQ2 強度、説明可能性、知識獲得の観点から、LRNLは従来の記号的推論およびエンドツーエンドのニューラル手法に比べてどのような主な利点を有するか？
• RQ3 LRNLパラダイムにおける演繹的・帰納的・帰謬的推論の現在のベンチマーク、データセット、手法は何か？
• RQ4 意味的多様性や複数の妥当な結論が存在することを考慮すると、LRNLシステムの評価において主な課題は何か？
• RQ5 確率的推論、不完全な情報における推論、ウェブ規模の帰納的推論といった今後の研究方向性は、分野の発展にどのように寄与できるか？

主な発見

• LRNLは、自然言語表現を用いることで、形式的記号的推論の脆さや知識獲得のボトルネックを軽減することで、代替的かつ実用的な選択肢を提供する。
• プロンプティングまたはファインチューニングによって、PLMは演繹的・帰納的・帰謬的推論を効果的に実行でき、構造化された推論タスクで優れたパフォーマンスを示す。
• 推論ステップがモジュラーかつ追跡可能であるため、エンドツーエンドのLLMプロンプト技術よりも説明性と制御性に優れる。
• 意味的ばらつきと、特に帰納的・帰謬的推論において複数の妥当な結論が存在することから、評価は依然として困難である。
• 現在のベンチマークは規模と現実性に欠け、専門家によるアノテーションに依存しており、大規模な展開に課題を抱える。
• 今後の研究では、確率的推論、欠落または不完全な前提における推論、および生のウェブコーパスからの帰納的ルール学習を検討することで、実世界への適用性を高めるべきである。