[論文レビュー] Learning Symbolic Rules for Reasoning in Quasi-Natural Language

Kaiyu Yang, Jia Deng|arXiv (Cornell University)|Nov 23, 2021

Topic Modeling参考文献 57被引用数 9

ひとこと要約

本稿では、解釈可能で証明可能な推論を可能にする、記号論理と自然言語を統合する形式的記法「MetaQNL」と、推論ステップを伴う・伴わない質問-回答ペアから記号的規則を誘導する学習アルゴリズム「MetaInduce」を提案する。本手法は推論ベンチマークで最先端の精度を達成し、コンパクトで検証可能な証明を生成し、ノイズや曖昧さがある言語的解析タスクに対しても神経ネットワークベースラインと同等の性能を示す。

ABSTRACT

Symbolic reasoning, rule-based symbol manipulation, is a hallmark of human intelligence. However, rule-based systems have had limited success competing with learning-based systems outside formalized domains such as automated theorem proving. We hypothesize that this is due to the manual construction of rules in past attempts. In this work, we ask how we can build a rule-based system that can reason with natural language input but without the manual construction of rules. We propose MetaQNL, a "Quasi-Natural" language that can express both formal logic and natural language sentences, and MetaInduce, a learning algorithm that induces MetaQNL rules from training data consisting of questions and answers, with or without intermediate reasoning steps. Our approach achieves state-of-the-art accuracy on multiple reasoning benchmarks; it learns compact models with much less data and produces not only answers but also checkable proofs. Further, experiments on a real-world morphological analysis benchmark show that it is possible for our method to handle noise and ambiguity. Code will be released at https://github.com/princeton-vl/MetaQNL.

研究の動機と目的

• 手動による規則構築を伴わずに自然言語入力を処理するルールベースの推論システムの開発。
• 記号的推論の解釈可能性とディープラーニングのデータ効率性・柔軟性のギャップを埋める。
• 解釈可能性と検証可能性を保ちながら、データから自動的に記号的規則を誘導することを可能にする。
• 語彙的分野のような非公式な文脈における現実世界の言語的ノイズや曖昧さを処理すること。
• データから規則を学習する方法が、手動による規則設計とエンドツーエンドの神経モデルを上回ることを示すこと。

提案手法

• 抽象的なパターンを表す変数を用いて、自然言語表現と論理的規則を統合する形式的記号的システム「MetaQNL」を提案する。
• 複数の前提と一つの結論を持つ規則を設計し、定理証明の際には変数を具体的な文にインスタンス化する。
• 訓練例からターゲットの結論を1ステップで証明できる候補規則を生成することで、規則を誘導する「MetaInduce」を開発する。
• バックワードチェイニングとアンチユニフィケーションによる規則の抽象化を用い、具体的な例から抽象的規則への一般化を実現する。
• 推論時にソフトマッチングを採用し、厳密なパターンマッチングの柔軟性を低下させることで、言語的変異に対する耐性を高める（ヒューリスティックマッチスコアを用いる）。
• 証明探索に既存の定理証明器を統合し、すべての予測が機械的に検証可能な証明を伴うことを保証する。

実験結果

リサーチクエスチョン

• RQ1 手動による規則構築を伴わずに、記号的推論を自然言語入力に効果的に適用できるか。
• RQ2 自然言語と形式的論理を統合的に表現できる形式的システムをどのように設計できるか。
• RQ3 推論ステップを伴う・伴わない質問-回答ペアから、コンパクトで一般化可能な記号的規則を学習アルゴリズムが誘導できるか。
• RQ4 学習済みルールベースシステムの性能は、推論および語彙解析タスクにおける神経ネットワークベースラインと比べてどの程度か。
• RQ5 ソフトマッチング機構は、現実世界のデータにおける言語的変異や曖昧さに対する耐性をどの程度向上できるか。

主な発見

• MetaInduce は複数の推論ベンチマークで最先端の精度を達成し、解釈可能性とデータ効率性の面で、従来のルールベースおよび神経ネットワークベースラインを上回った。
• 本手法はコンパクトで人間が読みやすい証明を生成し、機械的に検証可能であるため、透明性と検証可能性が向上した。
• 語彙解析ベンチマークでは、スワヒリ語では神経ネットワークseq2seqベースライン（F1スコア88）と同等のF1スコア82を達成し、スペイン語ではソフトマッチングにより性能が向上（F1スコア66から66に）し、他の言語でもギャップが縮小した。
• モデルは「スペイン語の接尾語 -áramos は過去形を示す」といった解釈可能な規則を学習し、言語的パターンへの一般化を示した。
• スペイン語ではソフトマッチングにより近似マッチングを許容することで性能が向上したが、スワヒリ語やトルコ語では、語彙的複雑性が高く、規則の近似が困難なため、向上効果は得られなかった。
• 現在の制限は、規則の抽象化の深さにあり、深さ1の証明しか考慮していないため、語彙的に豊富な言語におけるより複雑な複数ステップの規則の学習が制限されている。