[논문 리뷰] Value Iteration with Options and State Aggregation

Kamil Ciosek, David Silver|arXiv (Cornell University)|2015. 01. 16.

Reinforcement Learning in Robotics참고 문헌 21인용 수 6

한 줄 요약

이 논문은 상태 집합화와 옵션(시간적 추상화)을 결합한 계층적 값 반복 알고리즘을 제안하여 중간 크기의 마르코프 결정 과정(MDP)을 더 효율적으로 해결한다. 먼저 집합화된 상태를 사용해 부분 목표를 해결한 후, 이러한 근사 해를 바탕으로 전체 MDP에서 정확한 값 반복을 유도함으로써, 수렴 속도가 빨라지고 런타임이 크게 감소한다. 이는 두 가지 추상화 방식의 전반적인 이점을 함께 사용할 때만 실현됨을 보여준다.

ABSTRACT

This paper presents a way of solving Markov Decision Processes that combines state abstraction and temporal abstraction. Specifically, we combine state aggregation with the options framework and demonstrate that they work well together and indeed it is only after one combines the two that the full benefit of each is realized. We introduce a hierarchical value iteration algorithm where we first coarsely solve subgoals and then use these approximate solutions to exactly solve the MDP. This algorithm solved several problems faster than vanilla value iteration.

연구 동기 및 목표

• 상태 공간 크기가 커짐에 따라 전체 상태 반복이 필요한 전형적 값 반복의 계산 비용 문제를 해결하기 위해 상태 추상화와 시간적 추상화를 통합한다.
• 전체 상태 수에 비례해 성능이 급격히 떨어지는 전형적 값 반복의 한계를 극복한다.
• 옵션(마크로 액션)과 상태 집합화를 체계적으로 조합하여 중간 크기의 MDP를 효율적이고 확장 가능한 방식으로 해결할 수 있는 프레임워크를 개발한다.
• 옵션과 상태 집합화의 상호보완적 작용이 각각 독립적으로 사용할 때보다 우수한 성능을 내는가를 입증한다.
• 근사된 부분 목표 해를 기반으로 정확한 전체 MDP 해결을 수행하면서도 최적의 값 함수로 수렴함을 보장한다.

제안 방법

• 옵션과 기본 액션에 대한 행렬 모델을 도입하여 벨먼 최적성 방정식을 확장함으로써, 행렬 곱셈을 통한 조합이 가능하도록 한다.
• 집합화 행렬 Φ와 분해 행렬 D를 사용해 원래 MDP를 더 작은 근사 MDP로 투영함으로써 상태 집합화를 구현한다.
• 정책 μ와 종료 조건 β를 포함한 옵션 모델을 구성하여 고수준 행동을 표현하며, 각각 전이 행렬 P와 보상 벡터 R을 갖는다.
• 집합화된 MDP에서 값 반복을 적용해 부분 목표를 근사적으로 해결한 후, 이러한 모델을 사용해 전체 MDP를 정확히 해결한다.
• 부분 목표 사용을 부분 목표에 가까운 상태로 제한하기 위해 시작 집합을 도입함으로써 효율성과 수렴 속도를 향상시킨다.
• 시작 집합에서만 작동하는 수정된 값 반복 알고리즘을 사용하여 계산량을 줄이면서도 최적의 값 함수로의 수렴을 유지한다.

실험 결과

연구 질문

• RQ1 옵션과 상태 집합화를 값 반복 프레임워크에 통합하여 중간 크기의 MDP에서 수렴 속도를 향상시킬 수 있는가?
• RQ2 시간적 추상화(옵션)와 상태 추상화(집합화)의 통합이 각각 독립적으로 사용할 때보다 상호보완적인 성능 향상을 가져오는가?
• RQ3 근사된 부분 목표 해를 사용함에도 불구하고 옵션과 집합화를 사용하는 값 반복 알고리즘이 여전히 최적의 값 함수로 수렴할 수 있는가?
• RQ4 시작 집합의 사용이 옵션과 집합화를 통한 계층적 값 반복의 효율성과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 옵션과 집합화를 통합했을 때 기존 값 반복 대비 반복 횟수와 런타임에서의 정량적 성능 향상은 어느 정도인가?

주요 결과

• 8-puzzle 문제에서 기존 값 반복 대비 1.17배 빠른 속도를 기록했으며, 실행 시간은 85.94초(제안 알고리즘) 대비 100.19초(기본 VI)로 25회의 반복을 통해 달성되었다.
• 8개의 디스크를 가진 하노이의 탑 문제에서, 기존 VI의 51.65초에서 옵션과 집합화를 사용할 경우 23.45초로 감소하였으며, 확률적 버전에서는 21.71초로 추가로 단축되었다.
• 하노이의 탑 문제에서 반복 횟수는 부분 목표 수에 비례하여 선형적으로 증가(4×3×r)했으나, 표준 VI의 지수적 증가(2^r)와는 대비된다. 다만 상태 공간 크기로 인해 총 실행 시간은 여전히 지수적 증가를 보였다.
• 시작 집합 없이 부분 목표만 사용할 경우 성능 향상이 없었으며, 오직 시작 집합이 있을 때만 기존 VI를 능가하는 성능을 기록하였다. 이는 부분 목표 적용의 맥락 인식의 중요성을 시사한다.
• 이 알고리즘은 기존 선형 함수 근사 기반 방법들과 달리, 옵션과 상태 집합화를 동시에 사용하면서도 최적의 값 함수로 수렴을 보장하는 최초의 알고리즘이다.
• 실험 결과, 옵션과 상태 집합화의 이점은 둘 다 함께 사용될 때에만 완전히 실현되며, 각각 독립적으로 사용할 경우 동일한 성능 향상을 기대할 수 없다.