[論文レビュー] Towards Stable Symbol Grounding with Zero-Suppressed State AutoEncoder

Masataro Asai, Hiroshi Kajino|arXiv (Cornell University)|Mar 27, 2019

AI-based Problem Solving and Planning参考文献 30被引用数 5

ひとこと要約

本稿では、閉世界仮説の事前分布を用いて使用されない命題をゼロに強制することで、ニューラル記号AIにおける記号的表現の安定化を図るゼロ補正状態自己符号化器（ZSAE）を提案する。ZSAEは計画成功率を向上させ、ハイパーパrameterへの感受性を低減し、非活性なニューロンのプルーニングを可能にし、教師なし記号の接地における新たな「記号の安定性問題」に対処する。

ABSTRACT

While classical planning has been an active branch of AI, its applicability is limited to the tasks precisely modeled by humans. Fully automated high-level agents should be instead able to find a symbolic representation of an unknown environment without supervision, otherwise it exhibits the knowledge acquisition bottleneck. Meanwhile, Latplan (Asai and Fukunaga 2018) partially resolves the bottleneck with a neural network called State AutoEncoder (SAE). SAE obtains the propositional representation of the image-based puzzle domains with unsupervised learning, generates a state space and performs classical planning. In this paper, we identify the problematic, stochastic behavior of the SAE-produced propositions as a new sub-problem of symbol grounding problem, the symbol stability problem. Informally, symbols are stable when their referents (e.g. propositional values) do not change against small perturbation of the observation, and unstable symbols are harmful for symbolic reasoning. We analyze the problem in Latplan both formally and empirically, and propose "Zero-Suppressed SAE", an enhancement that stabilizes the propositions using the idea of closed-world assumption as a prior for NN optimization. We show that it finds the more stable propositions and the more compact representations, resulting in an improved success rate of Latplan. It is robust against various hyperparameters and eases the tuning effort, and also provides a weight pruning capability as a side effect.

研究の動機と目的

• 入力の微小な摂動に対して値が反転する不安定な記号的表現—すなわち、教師なし記号の接地における重要なサブプロブレムとしての「記号の安定性問題」を特定・形式化すること。
• Latplanの元々の状態自己符号化器（SAE）における不安定性を分析し、Gumbel-Softmaxサンプリングの確率的性質と潜在表現に対する構造的制約の欠如に起因することを特定すること。
• 使用されていない命題をゼロに強制することで、記号的参照を安定化させ、推論の耐性を向上させる、修正されたSAEであるZSAEを提案すること。
• ZSAEがよりコンactで安定的かつ効率的な表現を生み出し、ハイパーパrameterチューニングへの依存を低減するとともに、ニューロンのプルーニングを可能にすることを示すこと。

提案手法

• ZSAEは、入力によって支持されていない命題における非ゼロ活性化をペナルティ化する正則化項を導入し、効果的に閉世界仮説（CWA）事前分布を強制する。
• SAEにおけるGumbel-Softmaxサンプリングプロセスを変更し、活性化された（真である）命題の数を最小化することで、スパースで安定したバイナリ表現を促進する。
• バイナリ制約の微分可能で微分可能な緩和を適用することで、バックプロパゲーションを可能にしつつ、使用されていない命題に対してゼロ値を促進する。
• 各命題ごとに二重ヘッド構造（バイナリ変数ごとに2つのニューロン）を採用し、エントロピー正則化とゼロ補正を組み合わせたエンドツーエンド学習を可能にする。
• ZSAEは、例えばMNISTパズルタスクで1000ビットから68有効ビットにまで有効ビット数を削減することで、コンパクトな表現を実現する。この際、再構成忠実度を維持する。
• 本手法は、常にゼロ出力を示すニューロンのプルーニングを可能にし、モデルサイズを44％削減（837万6278パラメータから557万8414パラメータに）するが、精度に損なわれない。

実験結果

リサーチクエスチョン

• RQ1 ニューラル記号の接地における確率的性質が、なぜ不安定な記号的参照を引き起こし、古典的計画法にどのような影響を及えるのか。
• RQ2 LatplanのSAEにおけるGumbel-Softmax定式化が、表現の不安定性にどの程度寄与しているのか、また元の数学的モデルからどの程度逸脱しているのか。
• RQ3 正則化による閉世界仮説の強制が、記号的表現の安定化と計画性能の向上に寄与するのか。
• RQ4 ZSAEはハイパーパrameterへの感受性を低減させ、非活性なニューロンのプルーニングを通じて構造的モデル圧縮を可能にするのか。
• RQ5 提案された記号の安定性問題（SSP）は、現代のニューラル記号システムにおける根本的課題として一般化可能か。

主な発見

• ZSAEは、より安定的でコンパクトな記号的表現のおかげで、ヴァニラSAEに比べ20％高い古典的計画成功率を達成する。
• MNISTパズルタスクにおいて、表現に使用される有効ビット数を1000から68にまで大幅に圧縮する。
• ZSAEはネットワークパラメータ総数を44％削減（8,376,278から5,578,414に）し、再構成精度に劣化を来さない。
• モデルはハイパーパrameterの選択に対して感受性が低くなり、実世界でのデプロイにおいてチューニングプロセスが容易になる。
• ZSAEは、常にゼロ出力を示すニューロンのプルーニングを可能にし、性能に損なわれない非活性なニューロンを特定・削除可能である。
• 本手法は、LatplanにおけるGumbel-Softmaxを用いたエントロピー正則化がすでに部分的な安定性を提供していることを示しているが、ZSAEは明示的なゼロ補正によりこれを強化し、より頑健な記号的推論を実現している。