[論文レビュー] Natural Language Reasoning, A Survey

F. Richard Yu, Hongbo Zhang+2 more|arXiv (Cornell University)|Mar 26, 2023

Natural Language Processing Techniques被引用数 11

ひとこと要約

本調査は自然言語推論(NLR)の明確な定義と分類法を提案し、主要なタスク領域にわたるPLMベースのアプローチをレビューし、後向き推論を強調し、排反可能推論を将来の方向性として議論する。

ABSTRACT

This survey paper proposes a clearer view of natural language reasoning in the field of Natural Language Processing (NLP), both conceptually and practically. Conceptually, we provide a distinct definition for natural language reasoning in NLP, based on both philosophy and NLP scenarios, discuss what types of tasks require reasoning, and introduce a taxonomy of reasoning. Practically, we conduct a comprehensive literature review on natural language reasoning in NLP, mainly covering classical logical reasoning, natural language inference, multi-hop question answering, and commonsense reasoning. The paper also identifies and views backward reasoning, a powerful paradigm for multi-step reasoning, and introduces defeasible reasoning as one of the most important future directions in natural language reasoning research. We focus on single-modality unstructured natural language text, excluding neuro-symbolic techniques and mathematical reasoning.

研究の動機と目的

• 哲学とNLP実践に根ざしたNLPの自然言語推論（NLR）の明確な定義を提案する。
• 推論タイプの分類法を開発し、NLRを必要とするタスクを特定する。
• 古典的論理推論、自然言語推論、マルチホップQA、常識推論を横断するNLRに関する包括的な文献レビューを提供する。
• 後向き推論を多段推論の有力なパラダイムとして強調し、排反可能推論を将来の重要な方向性として議論する。

提案手法

• 哲学、論理、NLPの視点を統合してNLRの概念を明確化する。
• 推論タイプ（演繹的 vs 排反可能） の分類法を導入し、NLPタスクへ対応づける。
• ベンチマークを横断して、NLRに対するPLMベースのアプローチ（エンドツーエンド、前向き、後向き）をレビュー・分類する。
• 後向き推論とChain-of-Thought promptingを実践的な手法として議論する。
• 限界と将来の方向性を特定し、排反可能推論および推論経路の信頼性を含む。

実験結果

リサーチクエスチョン

• RQ1 NLPにおける自然言語推論とは何か、学際的に一貫して定義するにはどうすればよいか。
• RQ2 NLPで推論を必要とするタスクはどれで、どのように分類すべきか。
• RQ3 Pre-trained language modelsはNLRをどのように実行し、どの方法論（エンドツーエンド、前向き、後向き）が有効か。
• RQ4 後向き推論とは何か、前向き推論と比較して効率性と解釈性はどうか。
• RQ5 排反可能推論や推論経路の信頼性など、NLRの将来の有望な方向性は何か。

主な発見

• 哲学、論理、NLPの観点を組み合わせた、NLPにおける自然言語推論の明確な定義が提案されている。
• ベンチマークと方法論を包含するPLMベースのNLRアプローチの包括的なレビューが提供されている。
• 後向き推論は、重要で未開拓なパラダイムとして特定され、潜在的な効率性の利点がある。
• 排反可能推論が、NLPソリューションと解釈可能性への影響を伴う主要な将来の方向性として強調されている。
• Chain-of-Thought promptingと推論パスは多段の推論を改善し、大規模モデルで学習させたり促したりできる。
• (plausible) PLMsは、推論タスクにおいて、領域を横断して明示的知識と暗黙知識を統合する可能性を示している。