[논문 리뷰] Towards Stable Symbol Grounding with Zero-Suppressed State AutoEncoder

Masataro Asai, Hiroshi Kajino|arXiv (Cornell University)|2019. 03. 27.

AI-based Problem Solving and Planning참고 문헌 30인용 수 5

한 줄 요약

이 논문은 신경기호 AI에서 비활성 문장이 0이 되도록 하는 닫힌 세계 가정 사전정보를 통해 기호 표현의 안정성을 높이는 Zero-Suppressed State AutoEncoder (ZSAE)를 제안한다. ZSAE는 계획 성공률을 향상시키고 하이퍼파rameter에 대한 민감도를 감소시키며, 비활성 뉴런의 정렬을 가능하게 하여 비지도 기호 기반에서의 새로운 '기호 안정성 문제'를 해결한다.

ABSTRACT

While classical planning has been an active branch of AI, its applicability is limited to the tasks precisely modeled by humans. Fully automated high-level agents should be instead able to find a symbolic representation of an unknown environment without supervision, otherwise it exhibits the knowledge acquisition bottleneck. Meanwhile, Latplan (Asai and Fukunaga 2018) partially resolves the bottleneck with a neural network called State AutoEncoder (SAE). SAE obtains the propositional representation of the image-based puzzle domains with unsupervised learning, generates a state space and performs classical planning. In this paper, we identify the problematic, stochastic behavior of the SAE-produced propositions as a new sub-problem of symbol grounding problem, the symbol stability problem. Informally, symbols are stable when their referents (e.g. propositional values) do not change against small perturbation of the observation, and unstable symbols are harmful for symbolic reasoning. We analyze the problem in Latplan both formally and empirically, and propose "Zero-Suppressed SAE", an enhancement that stabilizes the propositions using the idea of closed-world assumption as a prior for NN optimization. We show that it finds the more stable propositions and the more compact representations, resulting in an improved success rate of Latplan. It is robust against various hyperparameters and eases the tuning effort, and also provides a weight pruning capability as a side effect.

연구 동기 및 목표

• 비활성 문장이 작은 입력 변화에 의해 값이 뒤바뀌는 불안정한 기호 표현이 발생하는 '기호 안정성 문제'를 비지도 기호 기반의 핵심 하位 문제로 규명하고 형식화한다.
• Latplan의 원래 State AutoEncoder (SAE)에서 발생하는 불안정성의 원인을 Gumbel-Softmax 샘플링의 확률성과 잠재 표현에 대한 구조적 제약 부족으로 분석한다.
• 비활성 문장을 0으로 강제하는 ZSAE를 제안하여 기호 참조의 안정성과 추론의 견고성을 향상시킨다.
• ZSAE가 더 컴act하고 안정적이며 효율적인 표현을 제공함으로써 하이퍼파rameter 조정 의존도를 감소시키고 뉴런 정렬을 가능하게 한다는 것을 입증한다.

제안 방법

• ZSAE는 입력에 의해 지지되지 않는 문장에서 비활성화된 활성화에 대해 정규화 항을 도입하여 닫힌 세계 가정(CWA) 사전정보를 효과적으로 강제한다.
• SAE의 Gumbel-Softmax 샘플링 과정을 수정하여 활성화된(참인) 문장의 수를 최소화함으로써 희박하고 안정적인 이진 표현을 유도한다.
• 이중 가역적이고, 이중 가역적일 수 있는 이진 제약 조건의 미분 가능 근사화를 적용하여 backpropagation를 허용하면서도 비활성 문장에 대해 0 값을 유도한다.
• 각 문장에 대해 두 개의 헤드 구조(이진 변수당 두 개의 뉴런)를 사용하여 엔트로피 정규화와 0 보존을 동시에 수행할 수 있는 엔드 투 엔드 학습을 가능하게 한다.
• ZSAE는 표현에 사용되는 유효 비트 수를 줄여 압축함으로써 표현을 더 컴act하게 만든다. 예를 들어, MNIST 퍼즐 과제에서 유효 비트 수를 1000에서 68로 감소시킨다.
• 상수로 0으로 활성화되는 뉴런의 정렬이 가능하여 모델 크기를 44% 감소시켰다(837만에서 558만 파라미터로), 정확도 손실 없이.

실험 결과

연구 질문

• RQ1 신경기호 기반에서의 확률성은 어떻게 불안정한 기호 참조를 초래하며, 이는 고전적 계획에 어떤 영향을 미치는가?
• RQ2 Latplan의 SAE에서 Gumbel-Softmax 설정이 표현의 불안정성에 기여하는 정도는 얼마나 되며, 원래 수학적 모델과의 차이점은 무엇인가?
• RQ3 정규화를 통해 닫힌 세계 가정을 강제하면 기호 표현이 안정화되고 계획 성능이 향상되는가?
• RQ4 ZSAE는 하이퍼파rameter에 대한 민감도를 감소시키고 비활성 뉴런의 정렬을 통해 구조적 모델 압축을 가능하게 하는가?
• RQ5 제안된 기호 안정성 문제(SSP)는 현대 신경기호 시스템에서의 근본적 과제로 일반화될 수 있는가?

주요 결과

• ZSAE는 기존 SAE보다 20% 높은 계획 성공률을 달성하며, 더 안정적이고 컴act한 기호 표현 덕분이다.
• MNIST 퍼즐 과제에서 표현에 사용되는 유효 비트 수를 1000에서 68로 감소시켜 상태 공간을 크게 압축한다.
• ZSAE는 총 네트워크 파라미터 수를 44% 감소시켰다(8,376,278에서 5,578,414로), 재구성 정확도에 손실 없이.
• 모델은 하이퍼파rameter 선택에 덜 민감해져 실제 운영 환경에서의 튜닝 과정이 수월해진다.
• 상수로 0으로 활성화되는 뉴런의 정렬이 가능하여, 성능 저하 없이 제거 가능한 비활성 뉴런으로 식별된다.
• Gumbel-Softmax를 통한 엔트로피 정규화는 Latplan에서 이미 부분적으로 안정성을 제공하지만, ZSAE는 명시적 0 보존을 통해 이를 향상시켜 더 견고한 기호 추론을 가능하게 한다.