[論文レビュー] Techniques for Symbol Grounding with SATNet

Sever Topan, David Rolnick+1 more|arXiv (Cornell University)|Jun 16, 2021

Advanced Image and Video Retrieval Techniques参考文献 36被引用数 6

ひとこと要約

本論文では、ラベル漏洩を回避しつつ、視覚的数独（Visual Sudoku）を解ける自己教師あり事前学習パイプラインを提案する。この手法により、シンボルの接地問題を克服し、クラスタリングに基づく蒸留と新規のシンボル接地損失を用いることで、未接地の視覚的数独で64.8%の精度を達成。これは、教師あり学習を用いたSATNetの性能と同等であり、予測の修正を図るためのリーディング機構も導入し、最先端の結果をさらに向上させた。

ABSTRACT

Many experts argue that the future of artificial intelligence is limited by the field's ability to integrate symbolic logical reasoning into deep learning architectures. The recently proposed differentiable MAXSAT solver, SATNet, was a breakthrough in its capacity to integrate with a traditional neural network and solve visual reasoning problems. For instance, it can learn the rules of Sudoku purely from image examples. Despite its success, SATNet was shown to succumb to a key challenge in neurosymbolic systems known as the Symbol Grounding Problem: the inability to map visual inputs to symbolic variables without explicit supervision ("label leakage"). In this work, we present a self-supervised pre-training pipeline that enables SATNet to overcome this limitation, thus broadening the class of problems that SATNet architectures can solve to include datasets where no intermediary labels are available at all. We demonstrate that our method allows SATNet to attain full accuracy even with a harder problem setup that prevents any label leakage. We additionally introduce a proofreading method that further improves the performance of SATNet architectures, beating the state-of-the-art on Visual Sudoku.

研究の動機と目的

• 視覚的入力が明示的な教師信号なしに記号的変数にマッピングできない神経記号的AIにおけるシンボルの接地問題を解決すること。
• 数字分類の間接的教師信号なしに、SATNetが論理的制約と視覚的表現をエンドツーエンドで学習できるようにすること。
• 入力ラベルがなく、出力ラベルのみが利用可能な未接地のMAXSAT問題に一般化できる手法を開発すること。
• 注釈付き入力データが限られている、あるいは存在しない現実世界のシナリオにおいて、SATNetのロバストネスと一般化性能を向上させること。
• 予測を再評価・修正するためのリーディング機構を導入し、視覚的推論タスクにおける性能をさらに向上させること。

提案手法

• SATNetアーキテクチャ内での視覚的分類器の事前学習に、自己教師ありのクラスタリングと知識蒸留プロセスを適用し、真のラベルなしで数字の表現を学習可能にする。
• モデルが学習した埋め込みと記号的ラベル空間との間の置換マッピングを学習するためのシンボル接地損失を設計し、論理的制約層のエンドツーエンド学習を可能にする。
• 微分可能なMAXSATソルバ（SATNet）を用いて、視覚的特徴と論理的一致性を同時に最適化し、予測が数独のルールを満たすことを保証する。
• 論理的一致性のチェックを用いて予測を再評価・修正するリーディングモジュールを統合し、最終的な精度を向上させる。
• ランダムシードに敏感であるという既知の問題を是正するための修正済みPyTorch実装を用いて訓練を安定化させ、再現性を向上させる。
• 出力セルの値のみがラベル付けされた、ラベル漏洩のない現実的で未接地な設定を模倣した変更済みデータセットで学習を行う。

実験結果

リサーチクエスチョン

• RQ1 入力の数字分類に関するいかなる教師信号も与えずに、SATNetがラベル漏洩なしに視覚的数独を解くことは可能か。すなわち、シンボルの接地問題を克服できるか。
• RQ2 自己教師ありの事前学習による視覚的特徴の学習が、神経記号的モデルにおけるエンドツーエンド学習をどの程度可能にするか。
• RQ3 提案されたシンボル接地損失は、非構造化された視覚的特徴から記号的マッピングを学習するのにどの程度効果的か。
• RQ4 リーディング機構は、視覚的推論タスクにおけるSATNetベースのモデルの精度をさらに向上させることができるか。
• RQ5 未接地設定におけるSATNetの性能の上限は何か。また、入力分類精度から導かれる上限と比較するとどうか。

主な発見

• 提案手法は、未接地の視覚的数独で全ボードの精度が64.8%に達し、ラベル漏洩なしに前例のSATNetバージョンが達成した0%の精度から顕著な改善を示した。
• 自己教師ありの事前学習パイプラインにより、ラベル漏洩ありのオリジナルのSATNetモデルと同等の性能を達成でき、効果的なエンドツーエンド学習が可能であることを示した。
• シンボル接地損失は、学習済みの視覚的埋め込みと記号的ラベルとの間の置換マッピングを正しく学習し、入力の教師信号なしに論理的制約層を訓練可能にした。
• リーディング機構により、視覚的数独のタスクにおける性能が最先端を上回り、論理的一致性のチェックが予測の修正に効果的であることを示した。
• SATNetは、誤った入力ラベルについてもある程度の程度で論理的推論を行うことができ、特にその誤りが解けない盤面を生じさせる場合に顕著で、論理的推論における耐性があることが示唆された。
• 入力分類精度に基づく性能の上限（74.8%）は、SATNetが論理的推論によって一部の入力エラーを是正できるため、厳密には束縛されないことがわかった。