[논문 리뷰] Online Planner Selection with Graph Neural Networks and Adaptive Scheduling

Tengfei Ma, Patrick Ferber외 3명|arXiv (Cornell University)|2018. 11. 01.

AI-based Problem Solving and Planning참고 문헌 27인용 수 11

한 줄 요약

이 논문은 계획 작업의 업로드된 및 기반 구조적 그래프를 활용하여 계획기 예측 정확도를 향상시키는 그래프 신경망(GNN) 기반 온라인 계획기 선택 방법을 제안한다. 이는 2018년 IPC 최적 트랙 우승자인 Delfi를 능가하며, 첫 번째 계획기가 실패할 경우 하프타임에 계획기를 전환하는 적응형 이중 단계 스케줄링 전략을 도입하여 테스트 세트에서 해결된 작업 수를 최대 89.7%까지 증가시킨다.

ABSTRACT

Automated planning is one of the foundational areas of AI. Since no single planner can work well for all tasks and domains, portfolio-based techniques have become increasingly popular in recent years. In particular, deep learning emerges as a promising methodology for online planner selection. Owing to the recent development of structural graph representations of planning tasks, we propose a graph neural network (GNN) approach to selecting candidate planners. GNNs are advantageous over a straightforward alternative, the convolutional neural networks, in that they are invariant to node permutations and that they incorporate node labels for better inference. Additionally, for cost-optimal planning, we propose a two-stage adaptive scheduling method to further improve the likelihood that a given task is solved in time. The scheduler may switch at halftime to a different planner, conditioned on the observed performance of the first one. Experimental results validate the effectiveness of the proposed method against strong baselines, both deep learning and non-deep learning based. The code is available at \url{https://github.com/matenure/GNN_planner}.

연구 동기 및 목표

• 작업의 구조적 그래프 표현을 활용하여 자동 계획에서 온라인 계획기 선택을 향상시키는 것.
• Delfi와 같은 CNN 기반 접근 방식의 한계를 극복하기 위해 순열 불변성과 노드 레이블을 무시하는 문제를 해결하는 것.
• 시간 제한 내에 작업을 해결할 확률을 높이기 위해 하프타임에 계획기를 전환하는 적응형 스케줄링 전략을 개발하는 것.
• GNN이 업로드된 및 기반 작업 그래프에 대해 성능을 어떻게 발휘하는지 평가하는 것.
• 적응형 및 탐욕적인 오프라인 방법을 포함한 다양한 계획기 스케줄링 전략의 영향을 탐색하는 것.

제안 방법

• 구조적 그래프에서 작업 표현을 학습하기 위해 그래프 신경망(GNN), 특히 GCN 및 게이트드 GNN를 사용한다.
• 작업 구조를 인코딩하기 위해 기반(노드 수준) 및 업로드(행동 수준) 그래프 두 가지 유형을 구성하며, 노드 색상은 레이블을 나타낸다.
• 이러한 그래프에서 순열 불변성과 레이블 인식 기능을 추출하기 위해 GNN을 적용하여 이미지 기반 CNN보다 더 나은 추론 성능을 달성한다.
• 하프타임에 첫 번째 계획기의 성능을 평가하고 필요에 따라 두 번째 계획기로 전환하는 이중 단계 적응형 스케줄러를 구현한다.
• 하이브리드 접근 방식을 사용: 초기 예측을 위한 단일 계획기 모델을 사용하며, 시간 제약 조건 내 성공률을 높이기 위해 적응형 전환을 통해 성능을 향상시킨다.
• 다중 계획기의 경우 탐욕적인 오프라인 선택 방법을 사용하여 학습/검증 세트에서의 성능에 기반해 시간 슬롯을 할당한다.

실험 결과

연구 질문

• RQ1 GNN 기반 표현 학습이 CNN 기반 이미지 유사 표현에 비해 온라인 계획기 선택에 개선을 이끌 수 있는가?
• RQ2 GNN에 노드 레이블과 순열 불변성을 통합할 경우 CNN보다 더 나은 계획기 선택 성능를 달성할 수 있는가?
• RQ3 하프타임에 계획기를 전환하는 적응형 스케줄링이 시간 제한 내에 해결되는 작업 수를 증가시킬 수 있는가?
• RQ4 적응형 스케줄링의 성능는 고정 다중 계획기 스케줄링 및 단일 계획기 접근 방식과 비교해 어떻게 다른가?
• RQ5 시간 제약 조건 하에서 작업 커버리지를 최대화하기 위해 최적의 계획기 수와 스케줄링 전략은 무엇인가?

주요 결과

• 제안된 GNN 기반 방법은 2018년 IPC 최적 트랙 우승자인 Delfi를 능가하여 테스트 세트에서 89.7%의 작업 커버리지를 달성한다.
• 적응형 스케줄링은 고정된 이중 계획기의 85.5%에서 89.7%로 해결된 작업 수를 증가시켜 단일 계획기 및 고정 스케줄링 방법보다 일관되게 향상됨을 보여준다.
• 업로드된 그래프 표현은 항상 기반 그래프를 능가하지만, 둘 다 크기와 비대칭성이 크기 때문에 학습에 도전 과제를 야기한다.
• 세 개의 계획기를 사용한 탐욕적인 오프라인 선택은 92.4%의 커버리지를 달성하지만, 성능은 계획기 수에 민감하며 단조로운 향상이 없다.
• Fast Downward Stone Soup는 네 개의 계획기를 사용해 92.4%의 커버리지를 달성하며, 최고의 탐욕적인 오프라인 결과를 따라가지만 더 복잡한 최적화가 필요하다.
• 초기 계획기가 정확하지 않을 경우, 실시간 성능에 기반해 전환할 수 있는 능력 덕분에 적응형 모델은 고정 스케줄링보다 더 효과적이다.