[논문 리뷰] Explicitly Encouraging Low Fractional Dimensional Trajectories Via Reinforcement Learning.

Sean Gillen, Katie Byl|arXiv (Cornell University)|2020. 01. 01.

Evolutionary Algorithms and Applications인용 수 2

한 줄 요약

이 논문은 분수차원 개념을 활용해 보상 함수를 수정함으로써 에이전트 경로의 분수차원을 명시적으로 감소시키는 강화학습(RL) 방법을 제안한다. 이 방법은 노이즈 및 교란에 대한 강건성을 향상시키며, 실험 결과는 제어 시스템에서 더 낮은 차원, 더 안정적인 경로를 보여준다.

ABSTRACT

A key limitation in using various modern methods of machine learning in developing feedback control policies is the lack of appropriate methodologies to analyze their long-term dynamics, in terms of making any sort of guarantees (even statistically) about robustness. The central reasons for this are largely due to the so-called curse of dimensionality, combined with the black-box nature of the resulting control policies themselves. This paper aims at the first of these issues. Although the full state space of a system may be quite large in dimensionality, it is a common feature of most model-based control methods that the resulting closed-loop systems demonstrate dominant dynamics that are rapidly driven to some lower-dimensional sub-space within. In this work we argue that the dimensionality of this subspace is captured by tools from fractal geometry, namely various notions of a fractional dimension. We then show that the dimensionality of trajectories induced by model free reinforcement learning agents can be influenced adding a post processing function to the agents reward signal. We verify that the dimensionality reduction is robust to noise being added to the system and show that that the modified agents are more actually more robust to noise and push disturbances in general for the systems we examined.

연구 동기 및 목표

• 높은 차원의 상태 공간과 정책의 블랙박스 성격으로 인해 RL 기반 제어 정책의 장기적 역학을 분석하는 데 도전하는 문제를 해결하기 위해.
• 일반적으로 전체 상태 공간보다 낮은 잠재적 차원을 가지는 RL 에이전트 경로의 내재적 차원을 보상 형상화를 통해 명시적으로 제어할 수 있는지 조사하기 위해.
• 특히 분수차원을 활용해 경로 복잡성과 안정성의 척도로 삼는 방법론을 개발하기 위해.
• 에이전트의 경로가 더 낮은 차원의 다양체로 수렴하도록 유도함으로써 RL 정책의 노이즈 및 외부 교란에 대한 강건성을 향상시키기 위해.

제안 방법

• 이 방법은 RL 에이전트의 보상 신호에 추가되는 후처리 함수를 도입하여, 분수차원 측도를 기반으로 고차원 경로를 처벌한다.
• 분수차원은 분수기하학에서 사용하는 상자 세기 또는 유사 기법을 활용해 시간에 따라 변화하는 상태 경로의 복잡성을 정량화한다.
• 보상 형상화 함수는 상태 공간 내에서 에이전트 경로의 효과적 차원을 낮추도록 설계되며, 더 낮은 차원의 다양체로 수렴하는 경로를 선호한다.
• 수정된 보상 신호는 표준 RL 알고리즘(PPO 또는 SAC 등)에 통합되어 환경 동역학을 변경하지 않고도 차원 제약 조건을 갖춘 학습이 가능하다.
• 학습 및 추론 과정에서 체계적으로 노이즈를 도입하여 수정된 정책의 강건성을 평가한다.
• 주로 낮은 차원의 부분공간에 존재하는 주요 역학을 갖는 벤치마크 제어 과제에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 모델리스 RL 환경에서 보상 형상화를 통해 RL 에이전트 경로의 분수차원을 효과적으로 감소시킬 수 있는가?
• RQ2 경로의 차원을 줄이면 프로세스 노이즈 및 외부 교란에 대한 강건성이 향상되는가?
• RQ3 안정성 및 낮은 차원의 다양체로의 수렴 측면에서 제안된 방법은 표준 RL과 비교해 어떻게 성능을 내는가?
• RQ4 시스템 노이즈 및 교란 수준이 다양할 경우에도 차원 감소 효과가 유지되는가?
• RQ5 분수차원은 고차원 제어 시스템에서 정책 학습을 이끄는 신뢰할 수 있고 실용적인 척도로 활용될 수 있는가?

주요 결과

• 수정된 RL 에이전트는 기준선 에이전트에 비해 분수차원이 유의미하게 낮은 경로를 생성하여, 낮은 차원의 다양체로 수렴함을 나타낸다.
• 시스템 동역학에 추가 노이즈가 존재하더라도 차원 감소 효과가 강건하게 유지되어 교란 상황에서도 안정된 성능을 유지한다.
• 제안된 보상 형상화를 통해 학습된 정책는 밀도 및 외부 교란에 대한 저항력이 뛰어나 표준 RL 에이전트보다 안정성과 복구 능력에서 뛰어난 성능을 보였다.
• 높은 차원의 상태 공간에서도 이론적으로 주된 낮은 차원의 부분공간 내에서 경로가 진화하도록 성공적으로 유도하였다.
• 분수차원을 제어 목표로 삼는 것이 정책 학습을 더 예측 가능하고 강건한 행동으로 이끄는 데 효과적이었다.
• 실험 결과는 낮은 차원의 경로가 장기적인 강건성 향상과 관련이 있음을 확인하여, 이 방법의 핵심 가설을 검증하였다.