[논문 리뷰] Learning STRIPS Operators from Noisy and Incomplete Observations

Kira Mourão, Luke Zettlemoyer외 2명|arXiv (Cornell University)|2012. 10. 16.

AI-based Problem Solving and Planning참고 문헌 22인용 수 64

한 줄 요약

이 논문은 먼저 상태 전이를 모델링하기 위해 분류기들을 훈련한 후, 분류기 파rameter들로부터 해석 가능한 STRIPS 규칙을 추출함으로써, 노이즈가 많고 완전하지 않은 관찰 데이터로부터 STRIPS 연산자를 학습하는 방법을 제안한다. 표준 계획 도메인에서 평가한 결과, 실제 센서의 결함에도 불구하고 정확한 도메인 모델을 성공적으로 추론하였으며, 도전적인 관찰 조건에서도 강건함을 입증하였다.

ABSTRACT

Agents learning to act autonomously in real-world domains must acquire a model of the dynamics of the domain in which they operate. Learning domain dynamics can be challenging, especially where an agent only has partial access to the world state, and/or noisy external sensors. Even in standard STRIPS domains, existing approaches cannot learn from noisy, incomplete observations typical of real-world domains. We propose a method which learns STRIPS action models in such domains, by decomposing the problem into first learning a transition function between states in the form of a set of classifiers, and then deriving explicit STRIPS rules from the classifiers' parameters. We evaluate our approach on simulated standard planning domains from the International Planning Competition, and show that it learns useful domain descriptions from noisy, incomplete observations.

연구 동기 및 목표

• 부분적이고 노이즈가 많은 관찰 데이터가 존재하는 실세계 환경에서 도메인 동역학을 학습하는 데 도전 과제를 해결하기 위해.
• 완전한 상태 정보가 확보되지 않은 상황에서 STRIPS 동작 모델을 자동으로 학습할 수 있도록 하기 위해.
• 실세계 센서 데이터와 STRIPS와 같은 형식적 계획 표현 간 격차를 메우기 위해.
• 불완전한 관찰 데이터로부터 계획 모델을 학습하는 확장성 있고 강건한 방법을 개발하기 위해.

제안 방법

• 이 방법은 관측된 상태 전이 데이터를 기반으로 이진 분류기들을 훈련시켜 상태 간 전이 함수를 먼저 학습한다.
• 각 분류기는 특정 플루언트(상태 변수)가 상태 간에 변화하는지 여부를 예측하여 행동의 영향을 모델링한다.
• 훈련된 분류기의 파라미터를 분석하여 명시적인 STRIPS 전제 조건과 영향을 추출한다.
• 이 방법은 두 단계로 구성된 파ipeline을 사용한다: (1) 노이즈가 많고 완전하지 않은 데이터로부터 분류기 학습, (2) 분류기 가중치로부터 규칙 추출.
• 불확실성 하에서 상태 전이의 복잡한 의존성을 모델링하기 위해 구조적 예측 기법을 활용한다.
• 정확도와 강건성을 평가하기 위해 국제 계획 경쟁에서 제공하는 표준 도메인을 사용하여 방법을 평가한다.

실험 결과

연구 질문

• RQ1 실세계 환경에서 흔히 발생하는 노이즈가 많고 완전하지 않은 관찰 데이터로부터 STRIPS 연산자를 신뢰성 있게 학습할 수 있는가?
• RQ2 분류기 기반 전이 모델링 접근법이 정확한 도메인 동역학을 복원하는 데 얼마나 효과적인가?
• RQ3 추출된 STRIPS 규칙이 표준 계획 벤치마크에서 얼마나 일반화되고 잘 작동하는가?
• RQ4 이 방법은 상태 전이에서 부분적 관측과 센서 노이즈를 어떻게 다루는가?

주요 결과

• 이 방법은 시뮬레이션된 계획 도메인에서 노이즈가 많고 완전하지 않은 관찰 데이터로부터 이해할 수 있는 STRIPS 연산자를 성공적으로 학습하였다.
• 결측 또는 손상된 데이터가 존재하는 상황에서도 분류기 기반 전이 모델이 상태 변화 예측에 높은 정확도를 달성하였다.
• 추출된 STRIPS 규칙는 의미적으로 유의미하며 표준 벤치마크에서 정확한 계획 행동을 이끌어냈다.
• 이 방법은 관측 노이즈와 부분적 상태 정보에 대해 강건성을 보였으며, 이러한 환경에서 기준 방법보다 뛰어난 성능을 보였다.