[논문 리뷰] Learning First-Order Symbolic Planning Representations That Are Grounded

Andrés Occhipinti Liberman, Blai Bonet외 1명|arXiv (Cornell University)|2022. 04. 25.

AI-based Problem Solving and Planning인용 수 5

한 줄 요약

이 논문은 답변 집합 프로그래밍(ASP)을 사용하여 분석된 2차원 이미지에 기반한 날카운, 일阶 기호 계획 모델을 학습하는 새로운 방법을 제안한다. 조합적 학습과 이미지 기반 기반화를 결합함으로써, 인간이 주석을 달지 않은 예측자에 기반한 새로운 인스턴스에 대한 일반화를 가능하게 하며, Blocks, Sokoban, Hanoi, 그리드 도메인에서 최소한의 인간 주석이 필요한 예측자로 정확한 계획을 달성한다.

ABSTRACT

Two main approaches have been developed for learning first-order planning (action) models from unstructured data: combinatorial approaches that yield crisp action schemas from the structure of the state space, and deep learning approaches that produce action schemas from states represented by images. A benefit of the former approach is that the learned action schemas are similar to those that can be written by hand; a benefit of the latter is that the learned representations (predicates) are grounded on the images, and as a result, new instances can be given in terms of images. In this work, we develop a new formulation for learning crisp first-order planning models that are grounded on parsed images, a step to combine the benefits of the two approaches. Parsed images are assumed to be given in a simple O2D language (objects in 2D) that involves a small number of unary and binary predicates like "left", "above", "shape", etc. After learning, new planning instances can be given in terms of pairs of parsed images, one for the initial situation and the other for the goal. Learning and planning experiments are reported for several domains including Blocks, Sokoban, IPC Grid, and Hanoi.

연구 동기 및 목표

• 조합적 기호 계획과 딥 러닝 사이의 격차를 메우기 위해, 일阶 동작 스키마를 분석된 이미지에 기반하여 기반화한다.
• 학습 데이터 외부의 이미지 쌍으로 정의된 새로운 계획 인스턴스로의 일반화를 가능하게 한다.
• 비정형 상태 시퀀스에서 동시에 도메인 예측자와 동작 스키마를 시각적 기반화를 통해 학습한다.
• 손으로 작성된 것과 유사한 해석 가능한, 인간이 읽을 수 있는 계획 모델을 생성하면서도, 시각적 입력에 대한 강건성을 유지한다.

제안 방법

• 간단한 O2D 언어에서 단항 및 이항 시각 예측자를 포함한 분석된 이미지 표현에 기반한 답변 집합 프로그래밍(ASP) 작업으로서 학습 문제를 정식화한다.
• 각 상태가 2차원 레이아웃 내에서 객체 관계(예: '왼쪽', '위', '형태')로 기술되는 상태 전이의 구조적 표현을 사용한다.
• 행동 적용이 관측된 전이와 일관성을 유지하도록, 한 상태에서 다음 상태로의 전이가 정확히 매핑되도록 제약 조건을 적용한다.
• 대칭성 깨기 및 최적화 규칙을 적용하여, 최소한의 전제 조건, 영향, 비정적 예측자를 가진 더 단순하고 압축된 모델을 선호한다.
• 학습된 기호 예측자를 시각적 특징에 매핑하는 기반화 메커니즘을 활용하여, 새로운 이미지 기반 인스턴스에서의 평가를 가능하게 한다.
• ASP 솔버를 활용하여 행동 스키마, 예측자, 그리고 이들의 시각 입력 공간 내 기반화를 동시에 추론한다.

실험 결과

연구 질문

• RQ1 비정형 상태 시퀀스에서 학습하면서도 시각적 입력 표현에 기반한 일阶 기호 계획 모델을 학습할 수 있는가?
• RQ2 학습 중에 볼 수 없었던 새로운 계획 인스턴스에 대해 분석된 2차원 이미지에 기반한 예측자를 기반화함으로써 제로샷 일반화가 가능한가?
• RQ3 학습된 모델이 손으로 작성된 모델처럼 해석 가능하고, 딥 러닝 모델처럼 시각적 변동에 강건한가?
• RQ4 Blocks, Sokoban, Hanoi와 같은 다양한 도메인에서 객체 수가 다양할 경우, 이 방법은 어떻게 스케일링되는가?
• RQ5 유도적 편향(예: 단순성, 최소성)이 학습된 계획 모델의 품질과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 이 방법은 분석된 2차원 이미지에 기반한 해석 가능한 일阶 행동 스키마와 예측자를 성공적으로 학습하여, 새로운 이미지 기반 인스턴스에서의 계획을 가능하게 한다.
• 학습 중에 볼 수 없었던 더 많은 객체를 포함한 인스턴스로의 일반화가 가능하여 강력한 제로샷 일반화 성능을 보였다.
• 이 접근법은 Blocks, Sokoban, IPC Grid, Hanoi 등 여러 도메인에서 높은 정확도로 계획 문제를 해결하였으며, 오직 이미지 기반 상태 기술만을 사용하였다.
• 대칭성 깨기 및 최적화 제약 조건을 적용한 ASP의 사용으로, 기존 기준 방법보다 전제 조건과 영향이 적은 간결하고 최소화된 모델을 도출하였다.
• 기반화 메커니즘이 학습된 예측자가 시각적 특징(예: '왼쪽', '위')과 의미적으로 일치하도록 보장하여, 새로운 이미지에서의 정확한 평가를 가능하게 하였다.
• 특히 복잡한 시각적 도메인에서, 기계적 추론과 일반화의 균형을 잘 맞추는 데 있어 순수 조합적 또는 딥 러닝 기반 접근법보다 뛰어난 성능을 보였다.