[논문 리뷰] Learning First-Order Symbolic Representations for Planning from the Structure of the State Space

Blai Bonet, Héctor Geffner|arXiv (Cornell University)|2019. 09. 12.

AI-based Problem Solving and Planning인용 수 14

한 줄 요약

이 논문은 사전에 알려진 기호 지식 없이, 상태공간 그래프의 구조적 위상에서 일阶 기호 계획 표현(예: 동작 스키마, 술어, 객체)을 학습하는 방법을 제안한다. SAT 기반 추론을 사용한 이중 수준의 조합적 탐색을 통해, Gripper, Blocksworld, Hanoi와 같은 고전 도메인의 정확하고 일반적인 일阶 모델을 평탄하고 비기호적인 상태공간 그래프에서 성공적으로 복원한다.

ABSTRACT

One of the main obstacles for developing flexible AI systems is the split between data-based learners and model-based solvers. Solvers such as classical planners are very flexible and can deal with a variety of problem instances and goals but require first-order symbolic models. Data-based learners, on the other hand, are robust but do not produce such representations. In this work we address this split by showing how the first-order symbolic representations that are used by planners can be learned from non-symbolic inputs that encode the structure of the state space. The representation learning problem is formulated as the problem of inferring planning instances over a common but unknown first-order domain that account for the structure of the observed state space. This means to infer a complete first-order representation (i.e. general action schemas, relational symbols, and objects) that explains the observed state space structures. The inference problem is cast as a two-level combinatorial search where the outer level searches for values of a small set of hyperparameters and the inner level, solved via SAT, searches for a first-order symbolic model. The framework is shown to produce general and correct first-order representations for standard problems like Gripper, Blocksworld, and Hanoi from input graphs that encode the flat state-space structure of a single instance.

연구 동기 및 목표

• 데이터 기반의 흑박 상자 학습자와 수작업으로 작성된 기호 모델이 필요한 모델 기반 계획자 사이의 격차를 해소하기 위해.
• 비기호적이고 구조적인 입력으로부터 일阶 기호 계획 표현(동작 스키마, 술어, 객체)의 자동 합성 가능하게 하기 위해.
• 표현 학습 문제를 구조적 동치성에 기반해 관측된 상태공간 그래프를 설명하는 공통의 일阶 도메인을 추론하는 문제로 공식화하기 위해.
• 최소한의 입력(상태 전이를 인코딩한 레이블이 붙은 방향 그래프)으로부터 일반적이고 재사용 가능한 계획 모델을 추론하는 확장 가능한 프레임워크 개발하기 위해.
• 상태공간 위상에서 직접 해석 가능하고 조합적이며 재사용 가능한 표현을 학습함으로써 기호적-연결주의 격차를 메우기 위해.

제안 방법

• 각 도메인 D에 대해 상태공간 그래프 G(P_i)가 관측된 입력 그래프 G_i와 구조적으로 일치하는 일阶 도메인 D(동작 스키마, 술어, 객체 포함)를 찾는 표현 학습 문제를 모델링하기 위해.
• 추론을 이중 수준 탐색으로 변환: 외부 수준은 하이퍼파rameter(예: 동작 스키마 수, 술어 수, 인자 수)를 탐색하고, 내부 수준은 고정된 하이퍼파rameter에 대해 유효한 일阶 모델을 찾기 위해 SAT 해결기를 사용하기 위해.
• 관측된 그래프 G_i와 생성된 그래프 G(P_i) 간의 구조적 동치성을 SAT 공식으로 인코딩하기 위해, 전이, 전제 조건, 영향에 대한 제약 조건 포함하기 위해.
• 부정을 포함한 상향식 STRIPS 언어를 목표 기호 형식으로 사용하여 정적 및 동적 술어를 표현 가능하게 하기 위해.
• 모든 입력 그래프를 설명할 수 있는 가장 단순한 모델(도메인 크기가 최소인 모델)을 찾기 위해 SAT 솔버를 적용하여 일반화를 선호하기 위해.
• 비결정적 동작을 다루기 위해 입력 그래프를 AND-OR 구조로 확장하고, 소음이 있는 입력을 다루기 위해 가중치 최대-SAT 확장 적용하기 위해.

실험 결과

연구 질문

• RQ1 기호 입력 없이 상태공간 그래프의 구조적 위상에서만 일阶 기호 계획 표현을 학습할 수 있는가?
• RQ2 여러 인스턴스의 상태공간 구조를 설명하는 공통의 일阶 도메인(객체, 관계, 동작 스키마 포함)을 추론할 수 있는가?
• RQ3 하이퍼파rameter와 SAT로 인코딩된 제약 조건의 유한한 탐색 공간에서 가장 단순하고 일반적인 일阶 모델을 어떻게 발견할 수 있는가?
• RQ4 평탄하고 비기호적인 그래프에서 미세한 기호적 구조(예: 정적 vs. 동적 술어, 객체 역할)를 얼마나 잘 복원할 수 있는가?
• RQ5 부분적 또는 노이즈가 있는 상태공간 데이터에 대해 이 방법은 얼마나 견고한가?

주요 결과

• 이 방법은 단일 인스턴스의 평탄한 상태공간 그래프에서 Gripper, Blocksworld, Hanoi와 같은 표준 계획 도메인에 대해 정확하고 일반적인 일阶 모델을 성공적으로 학습한다.
• 학습된 표현은 입력에 제공되지 않은 전형적인 동작 스키마, 관계 기호, 객체 역할을 포함하고 있다.
• 구조적 재사용이 부족한 경우에 발생하는 비의미적인, 로그 크기의 변수 집합(예: 그레이 코드)을 생성하는 것과 비교해, 이 방법은 문맥 기반 표현을 훨씬 우수하게 달성한다.
• 일阶 표현의 사용은 학습 인스턴스를 초월한 일반화를 가능하게 하며, 동일한 도메인 모델이 다양한 목표와 문제 인스턴스에서 재사용 가능하다.
• 비결정적 동작을 다루기 위해 입력 그래프를 AND-OR로 확장하고 일관된 동작 매개변수화를 강제함으로써 프레임워크를 확장한다.
• 소음이 있는 입력(예: 불필요한 전이 또는 레이블)은 SAT 문제를 가중치 최대-SAT 작업으로 재정의함으로써 견딜 수 있으며, 이는 계산 비용 증가를 수반한다.