[논문 리뷰] Iterative Hierarchical Optimization for Misspecified Problems (IHOMP)

Daniel J. Mankowitz, Timothy Mann외 1명|arXiv (Cornell University)|2016. 02. 10.

Reinforcement Learning in Robotics참고 문헌 23인용 수 11

한 줄 요약

이 논문은 상태 표현이 열악하여 표준 함수 근사가 고성능 정책을 표현하지 못하는 강화학습 문제를 해결하기 위해, 반복적으로 문맥 특화 옵션을 학습하고 상호 옵션 정책을 통해 이를 조합하는 반복적 계층 최적화(Iterative Hierarchical Optimization for Misspecified Problems, IHOMP)를 제안한다. IHOMP는 이론적 수렴 보장을 제공하며, 옵션과 상태공간 분할을 동시에 학습하는 IHOMP-ROI로 확장되어 효과적인 옵션 재사용을 가능하게 하며, Pinball 및 Two Rooms와 같은 오특정된 작업에서 평탄한 정책보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

For complex, high-dimensional Markov Decision Processes (MDPs), it may be necessary to represent the policy with function approximation. A problem is misspecified whenever, the representation cannot express any policy with acceptable performance. We introduce IHOMP : an approach for solving misspecified problems. IHOMP iteratively learns a set of context specialized options and combines these options to solve an otherwise misspecified problem. Our main contribution is proving that IHOMP enjoys theoretical convergence guarantees. In addition, we extend IHOMP to exploit Option Interruption (OI) enabling it to decide where the learned options can be reused. Our experiments demonstrate that IHOMP can find near-optimal solutions to otherwise misspecified problems and that OI can further improve the solutions.

연구 동기 및 목표

• 상태 표현이 부적절하여 표준 함수 근사가 고성능 정책을 표현하지 못하는 오특정된 강화학습 문제를 해결하는 데 도전한다.
• 분할된 상태 하위영역에서 전문화된 옵션을 학습함으로써 오특정성을 완화하는 계층적 강화학습 접근법을 개발한다.
• 오특정성 하에서 연속 상태공간에서 옵션의 반복적 학습에 대한 이론적 수렴 보장을 제공한다.
• 옵션 중단을 통한 상태공간 분할 향상 기반으로 프레임워크를 확장하여 최적의 옵션 재사용 영역을 자동으로 발견한다.
• 평탄한 정책 표현이 실패하는 복잡하고 고차원적인 도메인에서 근사 최적해를 찾을 수 있음을 입증한다.

제안 방법

• IHOMP는 분할된 상태공간을 사용하며, 각 분할 클래스에 대해 블랙박스 강화학습 알고리즘을 사용해 하나의 옵션을 훈련한다. 옵션은 임의로 초기화되고 반복적으로 업데이트된다.
• 각 옵션은 자신의 분할 내에서 누적 보상을 최대화하도록 훈련되며, 보상 신호는 상호 옵션 정책을 통해 분할 간으로 뒤로 전파된다.
• 상호 옵션 정책은 전문화된 옵션의 출력을 조합하여 행동을 생성함으로써 상태 하위영역 간의 협동 행동을 가능하게 한다.
• 알고리즘은 반복적으로 옵션 정책을 정교화하여, 낮은 보상 영역의 옵션들이 성능이 좋은 옵션으로부터 보상 전파를 통해 이점을 얻을 수 있도록 한다.
• IHOMP-ROI는 정규화된 옵션 중단을 통합하여 최적의 옵션 정책과 상태공간 분할을 동시에 학습하며, 옵션 재사용 영역을 발견한다.
• 이 방법은 임의의 분할 기반 방식을 지원하며, 선형 및 비선형 함수 근사기구(딥 Q 네트워크 포함)와도 호환된다.

실험 결과

연구 질문

• RQ1 계층적 프레임워크에서 문맥 특화 옵션의 반복적 학습이 상태 표현이 제한된 오특정된 강화학습 문제를 해결할 수 있는가?
• RQ2 제안된 IHOMP 알고리즘이 연속 상태공간에서 오특정된 MDP를 해결하는 데 대해 이론적 수렴 보장을 제공하는가?
• RQ3 옵션 중단이 계층적 강화학습에서 상태공간 분할을 향상시키고 지능적인 옵션 재사용을 가능하게 하는 데 효과적으로 사용될 수 있는가?
• RQ4 IHOMP는 Pinball 및 Two Rooms와 같은 실제 오특정된 환경에서 평탄한 정책 접근법보다 어떻게 성능을 냈는가?
• RQ5 IHOMP-ROI는 상태공간의 구조에 대한 사전 지식 없이 최적의 분할과 재사용 영역을 어느 정도 발견할 수 있는가?

주요 결과

• IHOMP는 평탄한 정책이 완전히 실패하는 S자 곡선 영역과 Two Rooms 환경을 포함한 오특정된 문제에서 근사 최적해를 성공적으로 찾았다.
• Pinball 세계 작업에서, 4×3×1×1 분할을 사용한 IHOMP는 평탄한 정책를 능가했으며, 목표에 가까운 위치에서 옵션을 초기화함으로써 단일 반복 후 안정적인 평균 보상을 달달했다.
• Two Rooms 도메인에서 IHOMP-ROI는 비트리비어한 최적의 분할을 학습하여, 정책 표현이 제한된 상태에서도 두 방 사이를 이동할 수 있도록 했다.
• IHOMP-ROI에서 학습된 분할은 직관에 어긋나는 옵션 재사용을 포함했다—예를 들어 영역 B에서 빨간색 옵션을 실행하는 것—이것은 알고리즘이 효과적인 재사용 패턴을 발견할 수 있음을 보여준다.
• IHOMP와 평탄한 정책 간의 성능 격차는 뚜렷했으며, IHOMP-ROI는 더 높은 평균 보상과 이전에는 해결 불가능했던 작업의 해결을 달성했다.
• 분할 비용은 설계에 민감했으며, Puddle World에서는 더 굵은 분할(예: 3×3)이 더 미세한 분할(예: 4×4)보다 성능이 뛰어나, 분할 품질의 중요성을 강조했다.