[논문 리뷰] Learning to Rank for Synthesizing Planning Heuristics

Caelan Reed Garrett, Leslie Pack Kaelbling외 1명|arXiv (Cornell University)|2016. 08. 03.

AI-based Problem Solving and Planning참고 문헌 20인용 수 8

한 줄 요약

이 논문은 상대적 순서를 최적화하는 데 초점을 맞춘 랭킹 기반 접근 방식인 RankSVM를 사용하여 계획 히ュ리스틱을 학습하는 방법을 제안한다. 이는 회귀 오차가 아니라 상태의 상대적 순서를 최적화한다. 시간적 상호작용을 반영하는 쌍별 행동 특징을 도입하여, IPC 문제에서 기존의 회귀 기반 방법과 표준 히ュ리스틱보다 뛰어난 성능을 달성했으며, 더 높은 커버리지와 더 나은 켄달 타우 상관관계를 확보했다.

ABSTRACT

We investigate learning heuristics for domain-specific planning. Prior work framed learning a heuristic as an ordinary regression problem. However, in a greedy best-first search, the ordering of states induced by a heuristic is more indicative of the resulting planner's performance than mean squared error. Thus, we instead frame learning a heuristic as a learning to rank problem which we solve using a RankSVM formulation. Additionally, we introduce new methods for computing features that capture temporal interactions in an approximate plan. Our experiments on recent International Planning Competition problems show that the RankSVM learned heuristics outperform both the original heuristics and heuristics learned through ordinary regression.

연구 동기 및 목표

• 히ュ리스틱 학습을 회귀 문제에서 랭킹 문제로 재정의하여 도메인 특화 계획 히ュ리스틱을 향상시키는 것.
• 근사 계획 내 행동 간 시간적 및 순차적 상호작용을 캡처하는 특징을 개발하는 것.
• 랭킹 기반 학습이 계획기 커버리지와 히ュ리스틱 품질 측면에서 회귀 기반 학습을 능가하는지 보여주는 것.
• 국제 계획 경쟁(Ipc) 학습 트랙의 실제 계획 문제에서 방법을 평가하는 것.

제안 방법

• 상대적 순서 최적화를 위한 손실 함수를 갖는 RankSVM를 사용하여 히ュ리스틱 학습을 랭킹 문제로 재구성한다.
• 도메인 독립 히ュ리스틱(예: CEA)이 생성한 근사 계획의 구조에서 유도된 쌍별 행동 특징을 도입한다.
• CEA 히ュ리스틱의 완화된 계획에서 행동 순서와 상호작용 패턴을 캡처하는 특징을 추출한다.
• 포트폴리오 계획기에서 생성한 상태 경로를 사용하여 RankSVM 모델을 훈련하고, 과적합을 방지하기 위해 정규화를 적용한다.
• 문제 크기의 분산이 높은 도메인에서는 히ュ리스틱에 음수 제약 조건을 적용하여 일반화 성능을 향상시킨다.
• 커버리지, 평균 계획 길이, 계획 시간, 확장 수, RMSE, 켄달 타우 상관관계를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 히ュ리스틱을 랭킹 문제로 학습하는 것이 회귀 문제로 학습하는 것보다 더 나은 계획기 성능을 낳는가?
• RQ2 행동 간 시간적 상호작용을 캡처하는 특징은 단순한 행동 기반 특징보다 히ュ리스틱 품질을 향상시키는가?
• RQ3 RankSVM 기반 히ュ리스틱은 IPC 기준 문제에서 표준 히ュ리스틱(예: FF, CEA)과 비교해 어떻게 성능을 내는가?
• RQ4 그리드 최선 우선 탐색에서 RMSE보다 켄달 타우가 히ュ리스틱 품질을 더 잘 예측하는가?
• RQ5 작은 문제에서 학습한 히ュ리스틱은 동일 도메인 내 더 큰, 예측되지 않은 문제로 일반화되는가?

주요 결과

• RankSVM 기반 히ュ리스틱은 모든 도메인에서 원래의 FF 및 CEA 히ュ리스틱보다 더 많은 문제를 해결했으며, 특히 운반 및 주차 도메인에서 커버리지 향상이 뚜렷했다.
• 쌍별 행동 특징은 단일 행동 특징보다 우수했으며, 평가 비용이 증가했음에도 불구하고 더 강력한 히ュ리스틱을 도출했다.
• 켄달 타우는 모든 도메인에서 문제 커버리지와 양의 상관관계를 보였지만, RMSE는 그렇지 않았다. 이는 타우가 더 나은 히ュ리스틱 품질 지표임을 시사한다.
• 음수 제약 조건은 문제 크기가 이중 모드인 운반 도메인에서 일반화 성능을 향상시켰으며, 이는 고분산 환경에서 유용함을 시사한다.
• 미스터리 없는 도메인에서는 높은 타우 값에도 불구하고 학습된 히ュ리스틱이 성능이 떨어졌는데, 이는 랭킹만으로는 사전에 사망 상태를 탐지하지 못하는 것이 핵심 문제임을 시사한다.
• 엘리베이터, 운반, 주차 도메인에서는 FF RSVM Pair 및 CEA RSVM Pair 히ュ리스틱이 5개 평가 문제 중 전부 해결했지만, 미스터리 없는 도메인에서는 1/5만 해결하여 도메인 특화적 과제를 확인했다.