[논문 리뷰] Classical Planning in Deep Latent Space

Masataro Asai, Hiroshi Kajino외 2명|arXiv (Cornell University)|2021. 06. 30.

AI-based Problem Solving and Planning인용 수 6

한 줄 요약

Latplan은 레이블이 없는 상태 전이 이미지 쌍에서 심벌릭 PDDL 동작 모델을 학습하는 신경기호적 프레임워크를 제안한다. 깊이 잠재 공간 표현을 활용해 고전적 계획을 가능하게 하며, 8-puzzle 및 Sokoban과 같은 시각 도메인에서 종단 간 계획을 달성한다. 이미지를 문장 논리로 매핑하고 최적의 계획을 도출하며 인간의 레이블링 기반 기호나 도메인 지식 없이 실행 과정을 시각화한다.

ABSTRACT

Current domain-independent, classical planners require symbolic models of the problem domain and instance as input, resulting in a knowledge acquisition bottleneck. Meanwhile, although deep learning has achieved significant success in many fields, the knowledge is encoded in a subsymbolic representation which is incompatible with symbolic systems such as planners. We propose Latplan, an unsupervised architecture combining deep learning and classical planning. Given only an unlabeled set of image pairs showing a subset of transitions allowed in the environment (training inputs), Latplan learns a complete propositional PDDL action model of the environment. Later, when a pair of images representing the initial and the goal states (planning inputs) is given, Latplan finds a plan to the goal state in a symbolic latent space and returns a visualized plan execution. We evaluate Latplan using image-based versions of 6 planning domains: 8-puzzle, 15-Puzzle, Blocksworld, Sokoban and Two variations of LightsOut.

연구 동기 및 목표

• 원시 시각 입력에서 자동으로 심벌릭 PDDL 모델을 생성함으로써 고전적 계획의 지식 획득 장벽을 해결하기 위해.
• 비심벌릭 딥 러닝과 심벌릭 계획 간 격차를 해소하기 위해, 시각적 관측을 문장 논리로 기반화하는 신경기호적 시스템을 구축하기 위해.
• 객체 유형, 구조, 동작 의미론에 대한 사전 지식 없이도 새로운, 알려지지 않은 환경에서 도메인 독립적 계획을 가능하게 하기 위해.
• 학습된 잠재 표현이 표준 도메인 독립 휴리스틱을 사용해 효과적이고 최적의 계획을 지원하는지 평가하기 위해.
• 스토케스틱 딥 네트워크를 사용할 때 시각적 입력의 노이즈 또는 변형에 대해 학습된 기호가 얼마나 안정적인지 조사하고, 표현 학습에서의 불안정성 원인을 규명하기 위해.

제안 방법

• 다양한 이진 잠재 변수를 가진 이산 오토인코더(상태 오토인코더, SAE)가 원시 이미지를 문장 논리 기반의 심벌릭 상태 표현으로 매핑한다.
• 카테고리형 잠재 변수와 스킵 연결을 갖춘 동작 오토인코더(AAE)가 전이를 군집화하여 비지도 방식으로 심벌릭 동작 레이블을 생성한다.
• 백투로짓(BTL) 모듈은 AAE를 복호화하여 직접적으로 심벌릭 형태로 전방 동역학(STRIPS 효과)과 역방향 동역학(STRIPS 전제 조건)을 모델링한다.
• 시스템은 유효한 상태 전이의 레이블이 없는 이미지 쌍에 대해 종단 간으로 훈련되며, 감독 없이 완전한 문장 논리 기반 PDDL 모델을 학습한다.
• 초기 상태와 목표 상태의 이미지를 주면, Latplan은 SAE를 사용해 상태를 심벌릭 논리로 임bedding하고, 고전적 계획기를 호출하며, 계획을 이미지 시퀀스로 시각화한다.
• 학습된 심벌릭 공간에서 도메인 독립 휴리스틱(예: FF, IPDB)을 적용하여 탐색을 효율적으로 이끈다.

실험 결과

연구 질문

• RQ1 딥 러닝 시스템이 레이블이 없는 이미지 전이만으로 완전하고 사용 가능한 PDDL 동작 모델을 자동으로 학습할 수 있는가?
• RQ2 학습된 심벌릭 표현이 인간의 레이블링 없이도 시각 도메인에서 최적의 계획을 지원할 수 있는 정도는 어느 정도인가?
• RQ3 회전, 이동, 스타일 차이와 같은 시각적 변형에 대해 학습된 기호는 얼마나 안정적인가?
• RQ4 실제 입력에서 스토케스틱 딥 네트워크를 사용할 때 기호 기반화 과정에서 주요한 불안정성 원인은 무엇인가?
• RQ5 표준 도메인 독립 휴리스틱(예: FF, IPDB)이 순수하게 시각 데이터에서 학습된 잠재 공간에서 탐색을 효과적으로 이끌 수 있는가?

주요 결과

• Latplan은 8-puzzle, 15-puzzle, Blocksworld, Sokoban, LightsOut의 두 가지 변형을 포함한 6개의 이미지 기반 계획 도메인에 대해 심벌릭 PDDL 모델을 성공적으로 학습하여 최적의 계획을 가능하게 하였다.
• 8-puzzle 및 Blocksworld와 같은 표준 도메인에서 높은 성공률를 기록하여, 학습된 표현이 도메인 독립 휴리스틱을 통해 효과적인 계획을 지원함을 입증하였다.
• 4디스크 하노이의 탑과 같은 과도한 도메인에서는 희귀한 특징(예: 작은 디스크가 상단 영역에 있을 경우)으로 인해 성공률가 크게 감소하여 SAE에서의 데이터 불균형 문제를 드러내었다.
• 기호 불안정성의 두 가지 원인을 규명하였다: 신경망 내재적 스토케스틱성과 관측의 외부 노이즈로, 이는 기호 안정성 문제(Sign Symbol Stability Problem, SSP)의 공식화로 이어졌다.
• 8-puzzle에서의 기울임, 이동 등의 시각적 변형에 대해 SAE는 부분적인 내성적 저항성을 보였지만, 수저로 그린 퍼즐처럼 고도로 스타일링되거나 노이즈가 많은 입력에서는 실패하여 일반화 능력의 한계를 드러내었다.
• 학습된 심벌릭 공간에서 표준 도메인 독립 휴리스틱(예: FF, IPDB)을 적용한 결과 효율적인 탐색이 가능하여, 이들이 자동으로 확보된 표현에서도 효과적임을 확인하였다.