[논문 리뷰] STRIPS Action Discovery

Alejandro Muchada Suárez, Javier Segovia‐Aguas외 2명|arXiv (Cornell University)|2020. 01. 30.

AI-based Problem Solving and Planning참고 문헌 31인용 수 5

한 줄 요약

이 논문은 초기 상태와 목표 상태만을 사용하여 고전적 플래너를 통해 PDDL로의 새로운 컴파일을 통해, 액션 서명, 전제 조건, 영향을 포함한 Strips 액션 모델을 학습하는 비지도 학습 알고리즘 UDAM을 제안한다. 이 방법은 전제 조건에서 정적 술어를 제거하는 방식으로 프로그래밍하지 않고도 정적 술어를 학습하며, IPC 벤치마크에서 높은 성공률로 예측되지 않은 플래닝 인스턴스로의 일반화 성능을 보여준다.

ABSTRACT

The problem of specifying high-level knowledge bases for planning becomes a hard task in realistic environments. This knowledge is usually handcrafted and is hard to keep updated, even for system experts. Recent approaches have shown the success of classical planning at synthesizing action models even when all intermediate states are missing. These approaches can synthesize action schemas in Planning Domain Definition Language (PDDL) from a set of execution traces each consisting, at least, of an initial and final state. In this paper, we propose a new algorithm to unsupervisedly synthesize STRIPS action models with a classical planner when action signatures are unknown. In addition, we contribute with a compilation to classical planning that mitigates the problem of learning static predicates in the action model preconditions, exploits the capabilities of SAT planners with parallel encodings to compute action schemas and validate all instances. Our system is flexible in that it supports the inclusion of partial input information that may speed up the search. We show through several experiments how learned action models generalize over unseen planning instances.

연구 동기 및 목표

• 복잡한 환경에서 높은 수준의 플래닝 지식 기반을 수동으로 구성하는 데 발생하는 실수와 유지보수의 어려움을 해결하기 위해.
• 초기 상태와 목표 상태만 관찰 가능한 상황에서 완전한 Strips 액션 스키마—액션 서명, 전제 조건, 영향—를 비지도 학습으로 학습할 수 있도록 하기 위해.
• 정적 술어를 전제 조건에 명시적으로 표현하는 대신 제거하는 방식으로 정적 술어 학습의 어려움을 완화하기 위해.
• 부분적인 사전 지식과 새로운 인스턴스에서의 검증을 통해 액션 모델의 점진적 개선을 지원하기 위해.
• 입력 예제의 수가 증가함에 따라 학습된 액션 모델의 일반화 및 수렴 성능을 평가하기 위해.

제안 방법

• SAT 기반 플래너를 사용하여 입력 플래닝 인스턴스로부터 액션 스키마를 추론함으로써, 액션 학습 문제를 PDDL에서 고전적 플래닝 문제로 컴파일한다.
• 정적 술어를 고정된 구성 요소가 아니라 제거 가능한 전제 조건로 간주하는 새로운 컴파일 전략을 도입하여 수동 사양의 필요성을 줄인다.
• 다중 입력 예제를 동시에 테스트할 수 있도록 병렬 검증 인스턴스를 생성한다.
• 학습 작업을 위한 유한한 탐색 공간을 탐색하는 구성 알고리즘을 사용하여 효율성과 수렴성을 향상시킨다.
• 액션 서명, 액션 이름, 중간 상태 정보 없이도 작동하는 비지도 학습 알고리즘(UDAM)을 적용한다.
• 액션 구조에 대한 구조적 제약 조건을 포함한 계획 문제로 학습 작업을 인코딩함으로써, 표준 고전적 플래너를 활용한다.

실험 결과

연구 질문

• RQ1 초기 상태와 목표 상태만으로 액션 서명이나 중간 상태 정보 없이 Strips 액션 모델을 학습할 수 있는가?
• RQ2 전제 조건에 하드코딩하지 않고 정적 술어를 효과적으로 학습할 수 있는가?
• RQ3 학습된 액션 모델이 새로운 예측되지 않은 플래닝 인스턴스로 얼마나 잘 일반화되는가?
• RQ4 부분적인 사전 지식의 포함 여부가 학습 수렴성과 모델 품질에 어떤 영향을 미치는가?
• RQ5 제안된 컴파일 방식이 정확하고 일반화 가능한 액션 스키마를 학습하는 데 높은 성공률을 달성할 수 있는가?

주요 결과

• 제안된 방법은 중간 상태 정보나 액션 이름 정보 없이도 초기 상태와 목표 상태만을 사용하여 완전한 Strips 액션 모델—액션 서명, 전제 조건, 영향—을 성공적으로 학습한다.
• 학습된 모델은 이론적으로 해법이 존재하는 모든 테스트 케이스를 성공적으로 해결함으로써 예측되지 않은 플래닝 인스턴스로의 일반화 성능이 뛰어나다.
• 입력 예제의 수가 증가함에 따라 모델 학습의 수렴성이 높아지며, 안정적인 학습 행동을 보여준다.
• 정적 술어 학습을 위해 전제 조건에서 제거하는 방식을 사용함으로써 수동 사양의 필요성을 줄이고 모델의 강건성을 향상시킨다.
• 병렬 인스턴스를 사용한 검증 프레임워크는 다양한 입력에 걸쳐 학습된 액션 모델의 정확성과 일관성을 확인한다.
• 알고리즘이 표준 IPC 벤치마크에서 뛰어난 성능을 보이며, 일반화 및 학습 완전성 측면에서 이전 방법을 능가한다.