[논문 리뷰] The Metrics Matter! On the Incompatibility of Different Flavors of Replanning

Kartik Talamadupula, David E. Smith외 1명|arXiv (Cornell University)|2014. 05. 12.

AI-based Problem Solving and Planning참고 문헌 15인용 수 3

한 줄 요약

이 논문은 AI에서의 재계획 수립을 단순한 기법이 아니라 별개의 문제로 간주해야 한다고 주장하며, 통합 컴파일 프레임워크를 통해 재계획 수립의 세 가지 주요 접근 방식—재시작 기반 재계획, 유사성 유지, 기여도 민감성—이 본질적으로 다른 지표를 최적화하고 상호 대체할 수 없다는 것을 입증한다. 실험적 평가 결과, 속도, 계획 유사도, 기여도 만족도와 같은 지표에서 어떤 방법도 다른 방법의 대체로 신뢰할 수 없다.

ABSTRACT

When autonomous agents are executing in the real world, the state of the world as well as the objectives of the agent may change from the agent's original model. In such cases, the agent's planning process must modify the plan under execution to make it amenable to the new conditions, and to resume execution. This brings up the replanning problem, and the various techniques that have been proposed to solve it. In all, three main techniques -- based on three different metrics -- have been proposed in prior automated planning work. An open question is whether these metrics are interchangeable; answering this requires a normalized comparison of the various replanning quality metrics. In this paper, we show that it is possible to support such a comparison by compiling all the respective techniques into a single substrate. Using this novel compilation, we demonstrate that these different metrics are not interchangeable, and that they are not good surrogates for each other. Thus we focus attention on the incompatibility of the various replanning flavors with each other, founded in the differences between the metrics that they respectively seek to optimize.

연구 동기 및 목표

• 기존 계획에서 유도된 제약 조건에 기반하여 재계획 수립을 단순한 기법이 아니라 별개의 문제로 재정의하는 것.
• 계산 효율성, 계획 안정성, 기여도 민감성에 기반한 다양한 재계획 전략이 서로 대체 가능한 지표인지 여부라는 열린 질문을 해결하는 것.
• 이러한 다양한 재계획 접근 방식을 공정하고 정규화된 방식으로 비교할 수 있는 통합 기반을 개발하는 것.
• 실험적으로 세 가지 핵심 지표인 실행 시간, 계획 유사도, 다자 간 기여도 유지 정도에서 각 방법의 효과성을 평가하는 것.

제안 방법

• 부분 만족 기법을 사용하여 재시작 기반 재계획, 유사성 유지, 기여도 민감성 재계획의 세 가지 재계획 전략을 하나의 공통 계획 기반으로 컴파일하는 것.
• 기존 계획이 부과하는 제약 조건을 통합 계획 프레임워크의 일부로 모델링하여, 다양한 지표 간 직접 비교를 가능하게 하는 것.
• 동일한 조건에서 성능을 평가하기 위해 최신 플래너(Fast Downward)를 사용하고, 가상 머신 환경(Windows Azure A7 클러스터)을 구축하는 것.
• 세 가지 핵심 지표인 계획 시간(log-scale), 계획 크기(행동 수), 기존 계획과의 집합 및 대칭 차이를 통한 계획 유사도를 측정하고 비교하는 것.
• 기존 계획의 행동 순서에서 유도된 다자 간 기여도를 기반으로 기여도 위반 여부를 평가하는 것.
• 각 인스턴스당 90분의 타임아웃을 적용하고, 타임아웃된 케이스는 지표 분석에서 제외하여 공정한 비교를 확보하는 것.

실험 결과

연구 질문

• RQ1 계산 효율성에 최적화된 재계획 수립 방법이 계획 유사성에 최적화된 방법의 대체로 충분히 기능할 수 있는가?
• RQ2 유사성 유지 재계획 전략은 다자 간 기여도 위반을 효과적으로 최소화할 수 있으며, 반대로 기여도 민감성 최적화 방법은 이를 효과적으로 대체할 수 있는가?
• RQ3 세 가지 별개의 지표인 속도, 계획 유사도, 기여도 만족도 간의 상호작용은 어떻게 되며, 서로 다른 재계획 전략 간에 이 지표들이 상호 호환 가능한가?
• RQ4 다양한 최적화 목표 하에서 서로 다른 재계획 기법의 성능을 공정하게 평가하고 비교할 수 있는 통합 프레임워크가 존재하는가?

주요 결과

• 재시작 기반 재계획은 유사성 유지나 기여도 민감성 방법보다 훨씬 빠르며, 특히 작은 인스턴스에서 실행 시간이 수개월 정도 낮다.
• 유사성 유지 방법은 기존 계획과의 집합 차이 및 대칭 차이를 최소화하는 데 항상 뛰어나며, 계획 안정성 유지를 위한 효과성은 확인된다.
• 유사성 유지 방법은 평균적으로 가장 많은 다자 간 기여도 위반을 일으켜, 기여도 민감성 최적화의 좋은 대체가 되지 못한다.
• 재시작 기반 재계획은 원래 계획과 유사한 길이의 계획을 생성하므로, 유사성 유지 방법에서 계산 시간 증가의 주요 원인이 계획 길이가 아님을 시사한다.
• 기여도 민감성 방법은 기여도 위반을 최소화하는 데 가장 우수한 성능을 보였지만, 속도와 계획 유사도 측면에선 유사성 유지 방법에 뒤지게 된다.
• 어느 한 재계획 전략도 세 가지 지표 전반에서 뛰어난 성능을 보이지 않으며, 최적화 목표가 서로 다름에 따라 세 가지 재계획 수립 방식이 본질적으로 상호 대체 불가능함을 입증한다.