[논문 리뷰] Hierarchical Subtask Discovery With Non-Negative Matrix Factorization

Adam Christopher Earle, Andrew Saxe외 1명|arXiv (Cornell University)|2017. 08. 01.

Machine Learning and Data Classification참고 문헌 15인용 수 5

한 줄 요약

이 논문은 다중작업 선형가능 마르코프 결정 과정(MLMDP) 프레임워크를 활용하여 강화학습에서 계층적 하위작업을 탐지하기 위한 비음수 행렬분해(NMF) 기반 방법을 제안한다. 이 방법은 상태공간 전역에서 직관적인 분산된 하위목표를 나타내는 저질서, 비음수 기저작업을 발견하여 사전 정의된 옵션이나 단일목표 하위작업이 필요 없이도 다수의 수준에서의 계층적 계획을 유연하게 가능하게 한다. 이 방법은 작업 집합에 적응하는 질적으로 의미 있는 분해를 학습하며, 더 깊은 계층을 위해 반복 적용 가능하다.

ABSTRACT

Hierarchical reinforcement learning methods offer a powerful means of planning flexible behavior in complicated domains. However, learning an appropriate hierarchical decomposition of a domain into subtasks remains a substantial challenge. We present a novel algorithm for subtask discovery, based on the recently introduced multitask linearly-solvable Markov decision process (MLMDP) framework. The MLMDP can perform never-before-seen tasks by representing them as a linear combination of a previously learned basis set of tasks. In this setting, the subtask discovery problem can naturally be posed as finding an optimal low-rank approximation of the set of tasks the agent will face in a domain. We use non-negative matrix factorization to discover this minimal basis set of tasks, and show that the technique learns intuitive decompositions in a variety of domains. Our method has several qualitatively desirable features: it is not limited to learning subtasks with single goal states, instead learning distributed patterns of preferred states; it learns qualitatively different hierarchical decompositions in the same domain depending on the ensemble of tasks the agent will face; and it may be straightforwardly iterated to obtain deeper hierarchical decompositions.

연구 동기 및 목표

• 복잡한 강화학습 도메인에서 수동 설계 없이 의미 있고 재사용 가능한 하위작업을 자동으로 탐지하는 데 도전하는 것.
• 다양한 가능한 작업을 커버하는 최소 기저 하위작업을 학습하여 계층적 강화학습의 스케일업을 가능하게 하는 것.
• 단일목표 옵션이 아닌 다중상태 하위목표를 학습함으로써 영향력과 이행성을 향상시키는 방법을 개발하는 것.
• 더 깊은 계층적 구조를 위해 추상화를 반복적으로 개선함으로써 다수 수준의 계획을 가능하게 하는 것.
• 하위작업 상등성 비교 및 추상화 품질 평가를 위한 형식적이고 해석 가능한 프레임워크를 제공하는 것.

제안 방법

• 다중작업 LMDP 프레임워크 내에서 하위작업 탐지 문제를 행동 기저의 저질서 근사로 공식화한다.
• 비음수 행렬분해(NMF)를 적용하여 작업 행렬을 비음수 기저행렬 D와 계수행렬 W로 분해함으로써 물리적으로 해석 가능한, 덧셈형 하위작업 표현을 보장한다.
• MLMDP 프레임워크를 사용해 작업을 기저작업의 선형 조합으로 모델링하고, 지수화된 비용-지출 함수를 통해 최적의 정책 조합을 가능하게 한다.
• 최적의 분해 질서 k를 결정하기 위해 정규화된 근사 오차 지표를 사용하며, '팔꿈치 관절' 행동을 통해 수익 감소를 식별한다.
• 영역 간 경계 상태(예: 문지방)를 식별하기 위해 상태 표현 전환 측도 g(s)를 도입하여 기존 하위작업 추상화와의 이중성을 드러낸다.
• 기저공간 내 행렬 거리 기반으로 하위작업 간 의사상등관계를 정의하여 서로 다른 하위작업 집합 간의 형식적 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비음수 행렬분해(NMF)는 공유 환경 내 다양한 작업 세트에서 의미 있고 최소한의 기저 하위작업을 효과적으로 탐지할 수 있는가?
• RQ2 이 방법의 하위작업 탐지 방식은 다양한 작업 세트에 어떻게 적응하며, 그 결과로 나타나는 추상화에서 질적 차이점은 무엇인가?
• RQ3 이 방법은 반복적으로 적용되어 더 깊은 계층적 구조를 생성할 수 있으며, 고수준 하위작업과 저수준 하위작업 간 행동 차이는 무엇인가?
• RQ4 주어진 도메인에서 최적의 하위작업 수(질서 k)는 무엇이며, 근사 오차 분석을 통해 자동으로 이를 결정할 수 있는가?
• RQ5 하위작업 상등성은 어떻게 형식적으로 정의하고 측정할 수 있으며, 이는 학습된 추상화의 구조에 대해 어떤 통찰을 제공하는가?

주요 결과

• 이 방법은 직관적인 분산 하위작업을 탐지하여, 예를 들어 그리드월드에서 특정 위치로 이동하거나 방 간 이동과 같은 의미 있는 행동 패tern을 반영한다.
• TAXI 도메인에서 최적의 분해 질서는 k=5로 확인되었으며, 이는 모든 승객-위치 구성 상태를 표현하기 위해 필요한 최소 자유도 수와 일치한다.
• 정규화된 근사 오차는 k=5에서 명확한 '팔꿈치 관절' 행동을 보이며, 이는 이 질서를 초과할 경우 수익 감소가 발생함을 확인하고 방법의 자동 질서 선택을 검증한다.
• 더 깊은 계층 수준에서 학습된 하위작업은 더 넓고 분산된 상태 커버리지를 보이며, 저수준에서는 국소적이고 세밀한 행동을 보여 계층적 추상화의 효과성을 입증한다.
• 이 방법은 표현 전환을 통해 문지방을 경계 상태로 식별하여 기존 하위작업 탐지 방법이 집중하는 전이점과 자연스러운 이중성을 드러낸다.
• 의사상등관계 측도를 통해 하위작업 집합 간의 형식적 비교가 가능하며, 이는 다양한 분해가 동일하거나 근사 동일한 행동 추상화를 도출할 수 있음을 보여준다.