[論文レビュー] Neural-Symbolic Recursive Machine for Systematic Generalization

Qing Li, Yixin Zhu+4 more|arXiv (Cornell University)|Oct 4, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文は、データから基礎付けられた記号系（GSS）を学習するモジュラーなフレームワーク、Neural-Symbolic Recursive Machine（NSR）を提案する。NSRは、神経的知覚、句構造解析、意味的推論を、新しい推論・帰納訓練アルゴリズムによって統合することで、系列対系列タスクにおける体系的汎化を可能にする。SCANおよびPCFGでは100%の汎化精度を達成し、HINTでは先行モデルを23%上回る性能を示し、ドメイン固有の知識に依存しない強力な転送性を備えた最先端の性能を実現した。

ABSTRACT

Current learning models often struggle with human-like systematic generalization, particularly in learning compositional rules from limited data and extrapolating them to novel combinations. We introduce the Neural-Symbolic Recursive Machine (NSR), whose core is a Grounded Symbol System (GSS), allowing for the emergence of combinatorial syntax and semantics directly from training data. The NSR employs a modular design that integrates neural perception, syntactic parsing, and semantic reasoning. These components are synergistically trained through a novel deduction-abduction algorithm. Our findings demonstrate that NSR's design, imbued with the inductive biases of equivariance and compositionality, grants it the expressiveness to adeptly handle diverse sequence-to-sequence tasks and achieve unparalleled systematic generalization. We evaluate NSR's efficacy across four challenging benchmarks designed to probe systematic generalization capabilities: SCAN for semantic parsing, PCFG for string manipulation, HINT for arithmetic reasoning, and a compositional machine translation task. The results affirm NSR's superiority over contemporary neural and hybrid models in terms of generalization and transferability.

研究の動機と目的

• 限られたデータから新たな組み合わせへの外挿を可能にする神経的モデルにおける体系的汎化の挑戦に取り組むこと。
• 構成性および等長性の強い誘導的バイアスを備えた、知覚、文法、意味を統合的に学習する統一フレームワークを構築すること。
• 手作業で作成されたドメイン固有の知識に依存しないようにし、基礎付けられた記号系（GSS）を直接学習データから出現させること。
• 意味解析、文字列操作、算術的推論、機械翻訳を含む多様な系列対系列タスクにおいて、転送性と耐障害性を向上させること。
• 非微分可能な記号的コンポonentのための微分可能訓練手順を、新しい推論・帰納アルゴリズムを用いて設計すること。

提案手法

• NSRは、神経的知覚モジュール、遷移ベースの神経的依存解析器、関数的プログラムに基づく意味的推論器を統合したモジュラーなアーキテクチャを採用する。
• 基礎付けられた記号系（GSS）は、タスク全体にわたって（入力、記号、出力）の三つ組として表される記号として、データからエンドツーエンドで学習される。
• 新しい推論・帰納アルゴリズムにより、共同訓練が可能となる：まず、貪欲な推論により初期のGSSが形成され、次にトップダウンの帰納により隣接するGSS構造を探索することで精錬される。
• 精錬されたGSSは、非微分可能な記号的コンポーネントの課題を克服するため、各NSRコンポーネントを独立して訓練するための擬似教師信号として機能する。
• 構成性と等長性の誘導的バイアスを組み込むことで、入力を分解・再結合し、体系的汎化を可能にする。
• 確率的学習フレームワークにより、明示的なGSSアノテーションがなくてもエンドツーエンド最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 神経的記号的モデルは、ドメイン固有の事前知識なしに、データから構成的かつ解釈可能な記号系を直接学習できるか？
• RQ2 構成性および等長性の誘導的バイアスを備えたモデルは、系列対系列タスクにおける未観測の組み合わせへの汎化をどの程度効果的に実現できるか？
• RQ3 共同訓練手順は、記号的コンポーネントの非微分可能性を克服し、エンドツーエンド学習を可能にするか？
• RQ4 NSRの性能は、体系的汎化ベンチマークにおいて、最先端の神経的およびハイブリッドモデルと比較してどの程度か？
• RQ5 NSRは、合成的機械翻訳のような現実世界の曖昧なタスクにおいて、どの程度汎化できるか？

主な発見

• NSRはSCANベンチマークで100%の汎化精度を達成し、すべての先行モデルを上回った。
• PCFGベンチマークでは、NSRが100%の汎化精度を達成し、新たな文字列操作規則への完全な外挿を示した。
• HINTベンチマークでは、NSRが平均90.1%のテスト精度を達成し、前回最良モデルを23ポイント上回った。
• 合成的機械翻訳タスクでは、NSRが100%の汎化精度を達成し、NeSSと同等の性能を示したが、より原理的でデータ駆動型の記号系を備えていた。
• 意味解析、文字列操作、算術的推論、現実世界の翻訳を含む多様な分野にわたり、ドメイン固有の知識にほとんど依存せず、強力な転送性を示した。
• アブレーションスタディにより、構成性と等長性の誘導的バイアスがNSRの優れた汎化性能に不可欠であることが確認された。