[논문 리뷰] Learning Action Models from Disordered and Noisy Plan Traces

Hankz Hankui Zhuo, Jing Peng외 1명|arXiv (Cornell University)|2019. 08. 26.

Robot Manipulation and Learning참고 문헌 30인용 수 5

한 줄 요약

이 논문은 자연어나 모니터링 로그와 같은 실제 데이터에서 흔히 발생하는 순서 어긋남, 병렬 동작, 노이즈 상태를 가진 계획 추적에서 정확한 동작 모델을 학습하는 MAX-SAT 기반 프레임워크인 AMDN을 제안한다. 전용의 순서 어긋남, 병렬, 노이즈 제약 조건을 구성하고 그 확률에 비례하여 가중치를 적용함으로써, AMDN은 합성 및 실제 도메인에서 기존 방법(ARMS, AMAN)을 초월하여 노이즈와 어긋남에 강건하며 입력 크기와 다항식적으로 확장되는 성능을 보여준다.

ABSTRACT

There is increasing awareness in the planning community that the burden of specifying complete domain models is too high, which impedes the applicability of planning technology in many real-world domains. Although there have many learning systems that help automatically learning domain models, most existing work assumes that the input traces are completely correct. A more realistic situation is that the plan traces are disordered and noisy, such as plan traces described by natural language. In this paper we propose and evaluate an approach for doing this. Our approach takes as input a set of plan traces with disordered actions and noise and outputs action models that can best explain the plan traces. We use a MAX-SAT framework for learning, where the constraints are derived from the given plan traces. Unlike traditional action models learners, the states in plan traces can be partially observable and noisy as well as the actions in plan traces can be disordered and parallel. We demonstrate the effectiveness of our approach through a systematic empirical evaluation with both IPC domains and the real-world dataset extracted from natural language documents.

연구 동기 및 목표

• 실제 계획 추적에서 불완전한 데이터 수집으로 인해 자주 발생하는 순서 어긋남, 병렬 동작, 노이즈 상태로 인한 도메인 동작 모델 학습 과제를 해결하기 위해.
• 완벽하게 순서가 지켜지거나 청소된 계획 추적을 전제로 하지 않고도 효과적으로 동작 모델을 학습할 수 있는 방법을 개발하기 위해.
• MAX-SAT 프레임워크 내에서 제약 조건 가중치를 통해 불확실성을 명시적으로 모델링하여 노이즈 및 어긋남에 대한 강건성을 향상시키기 위해.
• 자연어 문서에서 추출한 실제 데이터셋과 표준 IPC 계획 도메인 양쪽 모두에서 방법을 평가하기 위해.

제안 방법

• 이 방법은 세 가지 유형의 제약 조건을 구성한다: 비순차적 동작 순서를 모델링하기 위한 순서 어긋남 제약 조건, 동시 동작을 포착하기 위한 병렬 제약 조건, 부분 관측 또는 오류 있는 상태를 처리하기 위한 노이즈 제약 조건.
• 제약 조건은 순서 어긋남 또는 노이즈 발생의 추정 확률에 비례하는 가중치로 인코딩되어, MAX-SAT 솔버가 더 신뢰할 수 있는 정보를 우선 처리하도록 한다.
• 가중치가 부여된 MAX-SAT 솔버를 사용하여 최대 수의 제약 조건을 만족하는 일관된 동작 모델 집합을 찾으며, 노이즈 또는 어긋난 입력으로 인한 갈등을 최소화한다.
• 해결책은 STRIPS 스타일의 동작 모델로 변환되며, 전제 조건과 영향을 나타낸다.
• 프레임워크는 제어된 수준의 어긋남과 노이즈를 가진 합성 계획 추적과 자연어 튜토리얼에서 추출한 실제 계획 추적을 모두 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 계획 추적에 순서 어긋남과 병렬 동작이 포함되어 있을 때, MAX-SAT 기반 접근 방식이 얼마나 잘 동작 모델을 학습할 수 있는가?
• RQ2 제안된 제약 조건 가중치 기법은 노이즈 상태에 대해 기존의 노이즈나 어긋남을 무시하는 방법보다 강건성을 향상시키는가?
• RQ3 AMDN의 학습 정확도는 어긋남과 노이즈 수준이 다양할 때 ARMS 및 AMAN와 비교해 어떻게 되는가?
• RQ4 계획 추적의 수가 증가함에 따라 AMDN의 성능은 향상되는가? 그리고 런타임은 어떻게 확장되는가?

주요 결과

• AMDN은 400개의 추적에서 ARMS(73.2%)와 AMAN(75.6%)보다 높은 88.2%의 정확도를 보이며 CookingTutorial 실제 데이터셋에서 유의미하게 더 높은 정확도를 달성했다.
• AMDN은 순서 어긋남에 대해 뛰어난 강건성을 보였다: 어긋남 확률이 증가함에 따라 정확도 저하가 ARMS 및 AMAN보다 더 느리게 발생했으며, 이는 동작 순서 불확실성을 명시적으로 모델링했기 때문이다.
• 노이즈에 대해서도 AMDN은 ARMS 및 AMAN보다 더 높은 정확도를 유지하며 더 강건한 성능을 보였다. 이는 신뢰할 수 없는 관측치를 낮추는 데 기여하는 가중치가 부여된 제약 조건 덕분이었다.
• AMDN의 런타임은 입력 계획 추적 수와 함께 다항식적으로 증가하였으며, blocksworld 도메인에서의 적합 다항식은 $0.3845x^{2}+4.837x-15.32$였고, 이는 확장 가능한 성능을 의미한다.
• AMDN의 정확도는 더 많은 계획 추적을 통해 향상되었으며, 이는 노이즈가 많고 어긋난 환경에서 데이터 증가가 모델 학습에 기여한다는 것을 확인한다.