[논문 리뷰] Finding Options that Minimize Planning Time

Yuu Jinnai, David Abel외 3명|arXiv (Cornell University)|2018. 10. 16.

Auction Theory and Applications참고 문헌 38인용 수 7

한 줄 요약

이 논문은 MDP에서 계획 시간을 최소화하는 데 최소한의 옵션 세트를 찾는 문제를 체계화하며, 이 문제가 NP-난해임을 증명하고, 일반적인 경우에서는 O(n)의 부분최적성, 결정론적 MDP에서는 O(log n)의 부분최적성 보장을 갖는 다항시간 근사 알고리즘인 A-MOMI를 제안한다. 이는 격자 환경에서 최적의 옵션과 중심성, 고유값 옵션과 같은 히ュ리스틱 방법과의 실험적 비교를 통해 검증된다.

ABSTRACT

We formalize the problem of selecting the optimal set of options for planning as that of computing the smallest set of options so that planning converges in less than a given maximum of value-iteration passes. We first show that the problem is NP-hard, even if the task is constrained to be deterministic---the first such complexity result for option discovery. We then present the first polynomial-time boundedly suboptimal approximation algorithm for this setting, and empirically evaluate it against both the optimal options and a representative collection of heuristic approaches in simple grid-based domains including the classic four-rooms problem.

연구 동기 및 목표

• 주어진 값 반복 횟수 최대 허용 수 ℓ 내에서 수렴하는 최소한의 옵션 세트를 선택하는 문제를 체계화하는 것.
• 이 옵션 선택 문제의 계산 복잡도를 규명하여, 결정론적 MDP에서도 여전히 NP-난해임을 보여주는 것.
• 계획에서 옵션 발견을 위한 원칙적이고 근사 기반의 알고리즘을 개발하며, 이에 이론적 성능 한계를 제공하는 것.
• 제안된 알고리즘을 표준 격자 환경에서 최적 해와 히ュ리스틱 옵션 발견 방법과의 실험적 평가를 수행하는 것.

제안 방법

• 최대 허용 반복 수 ℓ 내에서 ε-최적성에 도달하기 위해 필요한 값 반복 횟수의 최소화 문제로 옵션 선택 문제를 체계화한다.
• 문제가 NP-난해임을 증명하고, 근사 불가능성 한계를 설정한다: NP ⊆ DTIME(n^{poly log n})가 아니면 2^{log^{1−ε}n}-난해이며, P = NP가 아니면 Ω(log n)-난해이다.
• 상태 간 거리에 기반한 집합 커버 문제를 해결하여 옵션을 구성하는 그리디 다항시간 알고리즘인 A-MOMI를 제안한다.
• 동적 프로그래밍을 사용해 각 상태에서 목표 상태까지의 최단 거리를 계산하고, 이를 옵션 선택에 활용한다.
• 거리 감소 효과가 큰 상태(목표까지의 거리를 줄이는 데 기여도가 높은 상태)에서 점 옵션을 그리디하게 선택하여 집합 커버 근사 기반으로 옵션을 구성한다.
• 계산된 옵션 세트를 사용할 경우, 모든 상태가 ℓ 반복 이내에 ε-최적성에 도달함을 보장한다.

실험 결과

연구 질문

• RQ1 MDP에서 계획 시간을 최소화하는 최소 옵션 세트를 찾는 문제의 계산 복잡도는 무엇인가?
• RQ2 이 옵션 발견 문제에 대해 이론적 부분최적성 한계를 갖는 다항시간 근사 알고리즘을 설계할 수 있는가?
• RQ3 실제로 제안된 알고리즘의 성능은 최적 옵션 세트와 중심성, 고유값 옵션과 같은 히ュ리스틱 방법과 비교해 어떻게 되는가?
• RQ4 결정론적 MDP에서는 일반 MDP에 비해 알고리즘의 근사 품질이 향상되는가?
• RQ5 이 알고리즘은 널리 사용되는 격자 환경 계획 문제, 예를 들어 네 방 문제와 같은 도메인에 효과적으로 적용될 수 있는가?

주요 결과

• 계획 시간을 최소화하는 최소 옵션 세트를 찾는 문제는 결정론적 MDP에서도 여전히 NP-난해이며, 강력한 근사 불가능성 한계를 갖는다.
• A-MOMI는 계산된 옵션 세트를 사용할 경우, ℓ 반복 이내에 계획 수렴을 보장하며, 일반 MDP에서는 O(n)의 부분최적성 보장을 갖는다.
• 결정론적 MDP에서는 A-MOMI가 O(log n)의 부분최적성 보장을 달성하여 일반 케이스의 한계보다 크게 향상된다.
• 실험적 평가에서 A-MOMI의 옵션 세트는 네 방 및 9×9 격자 도메인에서 최적 옵션 세트와 시각적·기능적으로 유사하다.
• 즉각적인 거리 감소 기반 그리디 히ュ리스틱은 일부 경우에 매우 열악한 성능을 보이며, 옵션 없이도 거의 개선되지 않는 경우가 있다.
• 중심성 및 고유값 옵션과 같은 히ュ리스틱 방법은 상당히 잘 작동하지만, 수렴 속도 측면에선 A-MOMI와 최적 해에 비해 열등하다.