[논문 리뷰] FHHOP: A Factored Hybrid Heuristic Online Planning Algorithm for Large POMDPs

Zongzhang Zhang, Xiaoping Chen|arXiv (Cornell University)|2012. 10. 16.

Reinforcement Learning in Robotics참고 문헌 25인용 수 9

한 줄 요약

FHHOP는 대규모 부분 관측 가능 마르코프 결정 과정(POMDP)을 위한 새로운 온라인 계획 알고리즘으로, 사실화된 상태 표현과 하이브리드 휴리스틱 탐색 전략을 조합하여 확장성과 해의 품질을 향상시킨다. FHHOP는 사실화된 구조를 활용하고 적응형 휴리스틱 가이던스를 제공함으로써 관련 민감도 상태에 집중하여 계산을 효율적으로 수행함으로써 기준 문제에서 최신의 온라인 휴리스틱 탐색 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Planning in partially observable Markov decision processes (POMDPs) remains a challenging topic in the artificial intelligence community, in spite of recent impressive progress in approximation techniques. Previous research has indicated that online planning approaches are promising in handling large-scale POMDP domains efficiently as they make decisions "on demand" instead of proactively for the entire state space. We present a Factored Hybrid Heuristic Online Planning (FHHOP) algorithm for large POMDPs. FHHOP gets its power by combining a novel hybrid heuristic search strategy with a recently developed factored state representation. On several benchmark problems, FHHOP substantially outperformed state-of-the-art online heuristic search approaches in terms of both scalability and quality.

연구 동기 및 목표

• 완전한 상태 표현이 계산적으로 비가능한 대규모 POMDP에서의 계획 문제를 해결하기 위해.
• 사실화된 상태 표현을 활용하여 POMDP에서의 온라인 계획의 확장성과 해의 품질을 향상시키기 위해.
• 민감도 공간에서 탐색과 이용의 균형을 동적으로 조절할 수 있는 하이브리드 휴리스틱 탐색 전략을 개발하기 위해.
• 전체 상태 공간을 사전에 계산하는 대신 관련 민감도 상태에 집중함으로써 수요에 맞는 결정을 효율적으로 가능하게 하기 위해.

제안 방법

• FHHOP는 민감도 공간을 조건부 독립적인 구성 요소로 분해하기 위해 사실화된 상태 표현을 사용하여 계산 복잡도를 감소시킨다.
• 가치 함수 근사와 도메인 전용 휴리스틱을 조합한 하이브리드 휴리스틱 탐색 전략을 적용하여 고가치 행동으로 향하는 탐색을 안내한다.
• 알고리즘은 민감도 트리의 유망한 경로들만 점진적으로 확장함으로써 온라인 계획을 수행하며, 포괄적인 탐색을 피한다.
• 민감도 업데이트를 유지하기 위해 전이 및 관측 모델의 사실화 표현을 통합한다.
• 현재 민감도 상태와 행동 결과에 기반하여 탐색 중 휴리스틱 함수를 적응적으로 개선한다.
• 기억장치와 계산을 제어하기 위해 유한한 너비 탐색 전략을 사용하여 대규모 POMDP에 대한 확장성을 보장한다.

실험 결과

연구 질문

• RQ1 사실화된 표현 방식이 대규모 POMDP에서의 온라인 계획의 확장성에 상당한 영향을 미칠 수 있는가?
• RQ2 도메인 전용 휴리스틱과 가치 함수 근사를 조합할 경우 온라인 POMDP 계획에서 해의 품질에 어떤 영향을 미치는가?
• RQ3 하이브리드 휴리스틱 탐색은 near-optimal 정책을 유지하면서 민감도 확장을 얼마나 줄일 수 있는가?
• RQ4 사실화된 구조 통합이 기준 POMDP 문제에서 표준 온라인 휴리스틱 탐색 방법보다 더 뛰어난 성능을 내는가?
• RQ5 적응형 휴리스틱 가이던스를 갖춘 온라인 계획이 대규모 POMDP에서 오프라인 또는 전체 가치 함수 접근 방식을 능가할 수 있는가?

주요 결과

• FHHOP는 여러 기준 POMDP 문제에서 최신의 온라인 휴리스틱 탐색 방법보다 뛰어난 성능을 보이며, 확장성 향상이 입증되었다.
• 전체 상태 민감도 공간의 나열을 피하기 위해 사실화된 표현 방식을 활용함으로써 계산 시간과 메모리 사용량을 감소시켰다.
• 평균적으로 FHHOP는 경쟁 방법보다 더 높은 기대 수익을 가진 정책을 찾았으며, 특히 고차원 POMDP에서 두드러진 성능을 보였다.
• 하이브리드 휴리스틱 전략은 관련 민감도 영역에 집중함으로써 고품질 행동에 빠르게 수렴하는 데 기여했다.
• FHHOP는 격자 월드 및 로봇 주행 작업을 포함한 다양한 문제 도메인에서 강력한 성능을 유지했다.
• 사실화된 구조와 적응형 휴리스틱의 통합으로 FHHOP는 이전에 온라인 방법으로 다룰 수 없었던 상태 공간이 훨씬 큰 POMDP로도 확장 가능해졌다.