[논문 리뷰] Position Paper: Online Modeling for Offline Planning

Eyal Weiss, Gal A. Kaminka|arXiv (Cornell University)|2022. 06. 07.

AI-based Problem Solving and Planning인용 수 4

한 줄 요약

이 논문은 사전에 정의된 것이 아니라 계획 중에 동적으로 생성되는 행동 모델을 사용하는 온라인 모델링을 제안한다. 이는 복잡하거나 학습된, 계산 비용이 큰 모델을 적응적으로 활용할 수 있도록 한다. 이 방법은 경계를 가진 비용 추정기로 효율적인 계획을 이끌어내며, ASEC 알고리즘을 평가하여 하위최적성 목표를 충족하면서도 런타임 성능이 향상됨을 보여준다.

ABSTRACT

The definition and representation of planning problems is at the heart of AI planning research. A key part is the representation of action models. Decades of advances improving declarative action model representations resulted in numerous theoretical advances, and capable, working, domain-independent planners. However, despite the maturity of the field, AI planning technology is still rarely used outside the research community, suggesting that current representations fail to capture real-world requirements, such as utilizing complex mathematical functions and models learned from data. We argue that this is because the modeling process is assumed to have taken place and completed prior to the planning process, i.e., offline modeling for offline planning. There are several challenges inherent to this approach, including: limited expressiveness of declarative modeling languages; early commitment to modeling choices and computation, that preclude using the most appropriate resolution for each action model -- which can only be known during planning; and difficulty in reliably using non-declarative, learned, models. We therefore suggest to change the AI planning process, such that is carries out online modeling in offline planning, i.e., the use of action models that are computed or even generated as part of the planning process, as they are accessed. This generalizes the existing approach (offline modeling). The proposed definition admits novel planning processes, and we suggest one concrete implementation, demonstrating the approach. We sketch initial results that were obtained as part of a first attempt to follow this approach by planning with action cost estimators. We conclude by discussing open challenges.

연구 동기 및 목표

• 기존 오프라인 모델링의 한계를 해결하기 위해, 행동 모델이 계획 전에 고정되어 있어 실제 도메인에서의 탄력성과 효율성 부족을 해결한다.
• 모델 구축을 필요로 할 때까지 연기함으로써, 복잡하거나 데이터 기반, 계산 비용이 큰 모델을 계획에 활용할 수 있도록 한다.
• 사전에 정확한 값을 계산하는 대신, 경계에 기반해 동적으로 비용 추정기를 선택하고 호출함으로써 계획의 계산 부담을 줄인다.
• 실행 중에 필요한 정확도와 성능의 상호 교환을 고려해, 다양한 모델 수준과 추정기를 지원하는 계획 프레임워크를 개발한다.
• 실제로 ASEC를 통해 온라인 모델링의 가능성과 이점을 입증한다. 이는 비용 추정이 포함된 고전적 계획에서의 구현 사례이다.

제안 방법

• 사전에 정의된 행동 모델이 아닌, 계획 과정 중에 접근할 때마다 계산되거나 생성되는 온라인 모델링으로의 전환을 제안한다.
• 각 행동에 대해 정확도와 런타임이 다른 여러 비용 추정기를 가질 수 있는 프레임워크를 도입하며, 이는 진짜 비용의 하한과 상한을 반환한다.
• 진짜 비용에 대한 경계만을 사용하여, 목표 하위최적성 배수 ε 이내의 계획을 찾는 계획 문제를 정의한다.
• 누적 비용 경계의 비율을 기반으로 추정기를 호출할 시점을 결정하는 ASEC(A* with Synchronous Estimations of Costs) 알고리즘을 개발한다.
• Fast Downward를 확장하여 ASEC를 구현함으로써, 최소한의 오버헤드로 동적 추정을 가능하게 하고 계획 효율성을 향상시켰다.
• 사용 가능한 경계를 활용해 계획 비용 추정을 향상시키기 위한 검색 후 절차를 도입함으로써, 주 검색을 다시 실행하지 않고도 계획 품질을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 사용자 정의된 행동 모델이 아닌, 런타임에 도달할 때까지 모델을 구축을 연기함으로써 계획의 적응성과 효율성을 높일 수 있는가?
• RQ2 데이터 기반 비용 추정기와 같은 복잡하거나 학습된 모델을, 높은 사전 처리 비용 없이 고전적 계획에 효과적으로 통합할 수 있는가?
• RQ3 정확한 행동 비용을 사용하는 것과 경계 기반 추정기를 사용하는 것 사이의 성능 상호 교환 관계는 계획 시간과 해의 품질 측면에서 어떻게 나타나는가?
• RQ4 온라인 모델링과 동적 추정을 사용할 경우, 런타임과 해의 품질 측면에서 기존 오프라인 모델링을 초월하는 조건은 무엇인가?
• RQ5 검색 중에 다양한 정확도 수준의 모델과 동적 모델 선택을 지원할 수 있도록 계획 알고리즘을 어떻게 설계할 수 있는가?

주요 결과

• ASEC 알고리즘은 정확한 값 대신 비용 경계를 사용하여, 정당성 유지와 함께 동적 추정을 통한 효율적인 계획을 가능하게 했다.
• ASEC는 일반적으로 목표 하위최적성 경계 ε을 충족하면서도, 런타임 측면에서 기준 방법보다 뛰어난 성능을 보였다. 이는 실용적인 성능 향상을 입증한다.
• 합성 추정기를 사용한 벤치마크에서의 실증 평가 결과, 온라인 모델링의 비용이 오프라인 모델링보다 현저히 낮을 경우, 동적 모델링이 계산적으로 유리함을 확인했다.
• 다양한 정확도와 런타임 특성을 가진 여러 추정기를 사용할 수 있어, 계획 중에 적응적인 상호 교환을 가능하게 했다.
• 검색 후 보완 절차는 경계가 이용 가능한 경우 비용 추정을 향상시켜, 주 검색을 다시 실행하지 않고도 해의 품질을 향상시켰다.
• 결과적으로, 실제로 실행되는 행동 수가 가능한 행동 수보다 훨씬 적거나, 평균 실제 추정기 실행 시간이 이용 가능한 최고의 오프라인 추정기보다 훨씬 낮을 경우, 온라인 모델링이 유리하다는 것이 확인되었다.