[論文レビュー] Language Models as Inductive Reasoners

Zonglin Yang, Li Dong+6 more|arXiv (Cornell University)|Dec 21, 2022

Natural Language Processing Techniques被引用数 7

ひとこと要約

本稿は、事前学習済み言語モデル（PLM）を用いて自然言語の事実から自然言語の規則を推論する新しい帰納的推論の枠組みを提案する。1,200組の規則-事実ペアを含むDEERデータセットと、新たな評価指標を導入する。このフレームワークは哲学的推論にインspiredされており、自動評価および人間評価の両方でベースラインを上回り、形式論理表現を用いずに自然言語における一般化された帰納的推論を実現するPLMの能力を示している。

ABSTRACT

Inductive reasoning is a core component of human intelligence. In the past research of inductive reasoning within computer science, formal language is used as representations of knowledge (facts and rules, more specifically). However, formal language can cause systematic problems for inductive reasoning such as disability of handling raw input such as natural language, sensitiveness to mislabeled data, and incapacity to handle ambiguous input. To this end, we propose a new paradigm (task) for inductive reasoning, which is to induce natural language rules from natural language facts, and create a dataset termed DEER containing 1.2k rule-fact pairs for the task, where rules and facts are written in natural language. New automatic metrics are also proposed and analysed for the evaluation of this task. With DEER, we investigate a modern approach for inductive reasoning where we use natural language as representation for knowledge instead of formal language and use pretrained language models as ''reasoners''. Moreover, we provide the first and comprehensive analysis of how well pretrained language models can induce natural language rules from natural language facts. We also propose a new framework drawing insights from philosophy literature for this task, which we show in the experiment section that surpasses baselines in both automatic and human evaluations. We discuss about our future perspectives for inductive reasoning in Section 7. Dataset and code are available at https://github.com/ZonglinY/Inductive_Reasoning.

研究の動機と目的

• 形式的言語や記号的推論における帰納的推論の体系的限界、例えば誤ラベルデータに敏感であること、および生の自然言語を処理できないことに対処する。
• 事実と規則の両方が自然言語で表現される新しいパラダイムを提案し、より人間らしい柔軟な帰納的推論を可能にする。
• この新しいパラダイムを支援するため、自然言語で記述された1,200組の高品質な規則-事実ペアを含む新しいデータセットDEERを構築する。
• 自然言語の帰納的推論タスクに特化した新たな自動評価指標を開発する。
• 事前学習済み言語モデルが自然言語の観察から一般化された自然言語規則を誘導する能力を包括的に評価する。

提案手法

• 形式的論理表現を避ける自然言語の事実から一般化された自然言語規則を誘導する新しい帰納的推論タスクを提案する。
• 日常的常識および科学的知識から抽出された1,200組の規則-事実ペアを含むDEERデータセットを構築し、人間がアノテートした規則が観察された事実を一般化するようにする。
• 自然言語の帰納的推論に特化した新しい自動評価指標（例：規則の一般化度、事実的一致性）を設計する。
• 帰納的推論に関する哲学文献にインspiredされた新しい推論フレームワークを構築し、仮説の一般化や証拠に基づく推論といった原則を統合する。
• 少数の例提示（few-shot prompting）および思考の流れを示すプロンプト（chain-of-thought）技術を用いて、最先端の事前学習済み言語モデル（PLM）を「推論者」として微調整し、入力された事実から規則を生成する。
• 自動評価および人間評価を実施し、ゼロショットおよび少数の例提示によるプロンプト手法を含む強力なベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルは、形式的論理表現に依存せずに、自然言語の事実から一般化された自然言語規則を効果的に誘導できるか？
• RQ2 自然言語の帰納的推論に特化した自動評価指標は、規則の質および一般化度に関する人間の判断とどの程度相関するか？
• RQ3 哲学的インスピレーションを受ける推論フレームワークは、標準的なプロンプト手法と比較して、誘導された規則の質および一般化度をどの程度向上させるか？
• RQ4 提案されたパラダイムは、ラベルノイズに敏感であることや、曖昧または生の自然言語入力を処理できないという記号的ILPシステムの体系的問題をどの程度軽減できるか？
• RQ5 特に、既存の文献にない新しい非自明な科学的仮説を生成する際のスケーリングにおける主な課題は何か？

主な発見

• 哲学的帰納的推論の原則に基づく提案されたフレームワークは、自動評価および人間評価の両方で強力なベースラインを大きく上回り、優れた規則の一般化度と事実的一致性を示している。
• DEERデータセットは、日常的常識および科学的分野の両方で多様で高品質な規則-事実関係を的確に捉えており、複数の自然言語事実を一般化する規則を含んでいる。
• 新たな自動評価指標は人間の判断と強い相関を示し、規則の質および帰納的強度を評価するうえでの有効性を裏付けている。
• 事前学習済み言語モデルは、生のテキスト事実から妥当で一般化された自然言語規則を生成する能力を強く示しており、科学的仮説生成における「コ・パイLOT」としての利用可能性を示唆している。
• 本研究では、規則の質が事実の多様性および意味的整合性に極めて敏感であることが判明しており、構造が不適切または重複する事実は劣った規則の誘導を引き起こす。
• フレームワークは科学的仮説発見の分野においても有望であることが示されており、その後の研究（Yang et al., 2023b）では、LLMが既存の文献にない新しい有効な仮説を生成できることを示している。