[논문 리뷰] Towards learning domain-independent planning heuristics

Paweł Gomoluch, Dalal Alrajeh외 2명|arXiv (Cornell University)|2017. 07. 21.

AI-based Problem Solving and Planning참고 문헌 1인용 수 4

한 줄 요약

이 논문은 다양한 관련이 없는 계획 도메인에서의 데이터를 기반으로 인공 신경망(ANN)을 사용하여 도메인 독립적 계획 휴리스틱을 학습하는 기계학습 접근법을 제안한다. 전반적인 성능은 최첨단 휴리스틱을 뛰어넘지 못했지만, Fast Forward 휴리스틱을 신경망 기반으로 보정한 NN-FF는 더 쉬운 주차 문제에서 탐색한 상태 수를 평균 3.5배 감소시켜 특정 문제 집합에서의 향상 가능성을 보여주었다.

ABSTRACT

Automated planning remains one of the most general paradigms in Artificial Intelligence, providing means of solving problems coming from a wide variety of domains. One of the key factors restricting the applicability of planning is its computational complexity resulting from exponentially large search spaces. Heuristic approaches are necessary to solve all but the simplest problems. In this work, we explore the possibility of obtaining domain-independent heuristic functions using machine learning. This is a part of a wider research program whose objective is to improve practical applicability of planning in systems for which the planning domains evolve at run time. The challenge is therefore the learning of (corrections of) domain-independent heuristics that can be reused across different planning domains.

연구 동기 및 목표

• 기계학습을 통해 다양한 계획 도메인에 적용 가능한 도메인 독립적 휴리스틱 함수를 자동으로 학습할 수 있는지 조사하는 것.
• 사전에 도메인이 알려지지 않은 동적 또는 변화하는 시스템에서 기존 도메인 특화 학습 접근법의 한계를 해결하는 것.
• 공통의 도메인 독립적 표현 방식을 사용해 관련이 없는 계획 도메인 간에 일반화할 수 있는 방법을 개발하는 것.
• 신경망이 전방 계획에서 탐색 효율성을 향상시키는 효과적인 휴리스틱 보정을 학습할 수 있는지 평가하는 것.
• 고품질의 비최적 해를 갖는 휴리스틱 계획기에서 생성된 훈련 데이터를 활용해 확장 가능한 학습을 수행할 수 있는지 탐색하는 것.

제안 방법

• 다양한 도메인에서 작은 계획 문제의 최적 해에서 추출한 상태 특징을 기반으로 인공 신경망을 훈련하는 것.
• 신경망의 입력 표현으로 Fast Forward(FF) 및 Cost-Effective A*(CEA) 휴리스틱에서 유도된 특징을 사용하는 것.
• 기존 휴리스틱(예: FF)을 기반으로 보정하거나, 처음부터 비용을 목표로 예측하는 휴리스틱 함수를 학습하는 것.
• 학습된 신경망을 전방 탐색 계획기의 휴리스틱으로 통합하여 상태 선택을 안내하는 것.
• 고정된 시간 제한 내에서 탐색한 상태 수와 해결한 문제 수를 비교하여 성능을 평가하는 것.
• 더 큰 문제에까지 확장하기 위해, 대량의 타임아웃 조건에서 작동하는 휴리스틱 계획기에서 생성한 고품질의 비최적 해를 포함하여 데이터 수집을 확장하는 것.

실험 결과

연구 질문

• RQ1 신경망은 관련이 없는 계획 도메인 간에 일반화 가능한 도메인 독립적 휴리스틱 함수를 학습할 수 있는가?
• RQ2 기존의 도메인 독립적 휴리스틱(예: FF)을 신경망을 통해 보정하는 방식이 처음부터 학습하는 것보다 성능 향상에 더 효과적인가?
• RQ3 학습된 신경망 휴리스틱의 성능는 FF 및 CEA와 같은 기존의 도메인 독립적 휴리스틱과 비교해 어떻게 되는가?
• RQ4 특정 문제 집합, 특히 더 쉬운 문제들에서 신경망 휴리스틱이 탐색 효율을 얼마나 향상시키는가?
• RQ5 휴리스틱 계획기에서 생성된 노이즈가 포함된 비최적 해는 더 큰 문제에 대해 일반화 가능한 휴리스틱을 학습하는 데 효과적으로 활용될 수 있는가?

주요 결과

• Fast Forward 휴리스틱을 신경망 기반으로 보정한 NN-FF는 기존 FF 대비 첫 10개 주차 문제에서 평균적으로 3.5배의 상태 수 감소를 기록했으며, 기하 평균을 사용한 결과이다.
• 이러한 더 쉬운 문제에서의 강력한 향상에도 불구하고, Transport 도메인에서는 FF보다 두 개 더 많은 문제를 해결했고, Woodworking 도메인에서는 세 개 더 적은 문제를 해결하여 전반적인 성능 향상은 제한적임을 시사한다.
• 평균적으로 NN-FF 휴리스틱은 모든 도메인에서 원래 FF 휴리스틱을 능가하지 못했으며, 성능 향상은 주로 특정이고 더 쉬운 문제 인스턴스에 집중되어 있었다.
• 초기부터 학습한 신경망 휴리스틱(NN)의 성능는 목표 수 계수와 같은 간단한 기반 모델과 유사하거나 열 劣했으며, 주로 목표 수 휴리스틱을 재현한 것으로 보였다.
• 리지드 회귀(RR-FF)와 신경망(NN-FF)을 사용한 FF 보정이 각각 단독 모델(RR 및 NN)보다 우수한 성능를 보였으며, 기존 휴리스틱을 활용하는 것이 학습 성능 향상에 기여함을 보여주었다.
• 더 어려운 문제에서 NN-FF의 상대적 성능 저하 현상은 더 넓은 범위의 향상을 위해 훈련 데이터에 더 큰 비최적 해를 포함시켜야 할 필요가 있음을 시사한다.