[論文レビュー] Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning

Qing Li, Siyuan Huang+4 more|arXiv (Cornell University)|Jun 11, 2020

Topic Modeling被引用数 33

ひとこと要約

この論文は、ニューラル知覚、文法ベースのパーシング、シンボリック推論を統合したニューラル-シンボリック框架を提示し、強化学習ベースのバックサーチとポスタリオ近似を用いてデータから有効なプログラムと式を学習します。

ABSTRACT

The goal of neural-symbolic computation is to integrate the connectionist and symbolist paradigms. Prior methods learn the neural-symbolic models using reinforcement learning (RL) approaches, which ignore the error propagation in the symbolic reasoning module and thus converge slowly with sparse rewards. In this paper, we address these issues and close the loop of neural-symbolic learning by (1) introducing the \ extbf{grammar} model as a \ extit{symbolic prior} to bridge neural perception and symbolic reasoning, and (2) proposing a novel \ extbf{back-search} algorithm which mimics the top-down human-like learning procedure to propagate the error through the symbolic reasoning module efficiently. We further interpret the proposed learning framework as maximum likelihood estimation using Markov chain Monte Carlo sampling and the back-search algorithm as a Metropolis-Hastings sampler. The experiments are conducted on two weakly-supervised neural-symbolic tasks: (1) handwritten formula recognition on the newly introduced HWF dataset; (2) visual question answering on the CLEVR dataset. The results show that our approach significantly outperforms the RL methods in terms of performance, converging speed, and data efficiency. Our code and data are released at \\url{https://liqing-ustc.github.io/NGS}.

研究の動機と目的

• 知覚、文法パース、シンボリック推論を組み合わせたクローズドループのニューラル-シンボリック学習を動機づける。
• バックサーチとポスターサンプリングを用いて妥当なプログラム/式を生成するニューラル-文法-シンボリックモデルを提案する。
• 構造化文法を用いて、手書き式とCLEVR風VQAの合成データからの学習を実証する。
• 学習精度に対するサンプリングベースのREINFORCE派生とメトロポリス-ヘイスのスムージングの影響を分析する。

提案手法

• 画像から特徴を抽出するニューラル知覚モジュールとして LeNet を用いる。
• 式と CLEVR プログラムのための文脈自由文法を用いた文法ベースのシンボリック推論を適用する。
• 報酬デカイを使った REINFORCE および MAPO 系のベースラインを訓練に適用する。
• モジュールスワップを介して誤予測を修正するために、m-BS（マルチステージバックサーチ）と1-BS（単一ステップバックサーチ）を導入する。
• 事後近似 p'(z|x,y) を p(z|x,y) の平滑化版として定式化し、Metropolis-Hastings によってサンプリングする；KL(p||p') = O(ε) を証明する。
• 手書き式の CROHME 由来の合成データと CLEVR風プログラムから訓練する；ニューラル成分としてシーンパーサと Pointer Network を利用する。

実験結果

リサーチクエスチョン

• RQ1 知覚データから妥当なシンボリックなプログラムや式を学習できるクローズドループのニューラル-シンボリックシステムは可能か。
• RQ2 正しいシンボリック構造がまばらまたはあいまいな場合に、バックサーチとポスターサンプリングは学習をどう改善できるか。
• RQ3 Metropolis-Hastings の平滑化後後続の影響は学習効率と精度にどのように影響するか。
• RQ4 文法駆動のシンボリック推論モジュールをニューラル知覚とVQAおよび手書き式タスクでどの程度うまく統合できるか。

主な発見

• このフレームワークは、知覚、文法パーシング、シンボリック実行を統合することでニューラル-シンボリックパイプラインの学習を可能にする。
• バックサーチのバリアント（1-BS、m-BS）は、文法定義のグループ内でモジュールを入れ替えることにより誤予測を修正できる。
• Metropolis-Hastings に基づく事後近似 p′(z|x,y) は、ε→0 のとき KL(p||p′)=O(ε) となるように真の事後 p(z|x,y) を平滑化し、サンプリングの安定性を向上させる。
• 手書き式認識では、数字と基本演算子上の文脈自由文法を用い、生成した合成データでモデルを訓練する。
• CLEVR のニューラル-シンボリック VQA では、シーンパーサ（Mask-RCNN + ResNet-34）が構造表現を提供し、ポインタネットワークが質問パーサとして有効なモジュール列を抽出する。