[논문 리뷰] General non-linear Bellman equations

Hado van Hasselt, John Quan외 4명|arXiv (Cornell University)|2019. 07. 08.

Reinforcement Learning in Robotics참고 문헌 29인용 수 7

한 줄 요약

이 논문은 표준 강화 학습을 확장하기 위해 보상과 가치의 선형 할인을 임의의 비선형 변환으로 대체하는 일반적인 비선형 벨만 방정식의 클래스를 제안한다. 미약한 조건 하에서 수렴성을 증명하고, 이러한 비선형성이 인간과 유사한 선호도 역전을 모델링하고 학습 성능을 향상시킬 수 있음을 보여주며, 전통적인 선형 할인을 초월한 더 풍부한 RL 알고리즘 설계 공간을 제공한다.

ABSTRACT

We consider a general class of non-linear Bellman equations. These open up a design space of algorithms that have interesting properties, which has two potential advantages. First, we can perhaps better model natural phenomena. For instance, hyperbolic discounting has been proposed as a mathematical model that matches human and animal data well, and can therefore be used to explain preference orderings. We present a different mathematical model that matches the same data, but that makes very different predictions under other circumstances. Second, the larger design space can perhaps lead to algorithms that perform better, similar to how discount factors are often used in practice even when the true objective is undiscounted. We show that many of the resulting Bellman operators still converge to a fixed point, and therefore that the resulting algorithms are reasonable and inherit many beneficial properties of their linear counterparts.

연구 동기 및 목표

• 표준 선형 벨만 방정식을 보다 비선형 보상과 미래 가치의 변환을 도입하여 강화 학습 알고리즘의 설계 공간을 넓히는 것.
• 비선형 벨만 방정식이 인간 및 동물 행동에서 관찰되는 초기 할인과 선호도 역전과 같은 자연 현상을 더 잘 모델링할 수 있는지 조사하는 것.
• 진정한 목적이 할인되지 않은 경우에도 비선형 공식화가 더 샘플 효율적 또는 높은 성능을 보이는 학습 알고리즘을 이끌 수 있는지 평가하는 것.
• 비선형 벨만 연산자가 고정점으로 수렴하는 이론적 조건을 확립하여 알고리즘의 안정성과 선형 대체물의 바람직한 성질을 그대로 유지하는 것.

제안 방법

• 일반적인 비선형 벨만 방정식을 제안: $ v(s) = \mathbb{E}[f(R_{t+1}, v(S_{t+1})) \mid S_t = s, A_t \sim \pi(S_t)] $, 여기서 $ f $ 는 즉각적 보상과 다음 상태 가치의 비선형 함수이다.
• 세 가지 구체적 하위클래스를 고려: 비선형 보상 변환 ($ f(r,v) = g(r) + \gamma v $), 비선형 가치 변환 ($ f(r,v) = r + g(v) $), 비선형 목표 변환 ($ f(r,v) = h(r + g(v)) $).
• 구체적인 예로 거듭제곱 할인을 도입: $ g_{\gamma}(v) = \kappa((|v|+1)^{\gamma} - 1) \cdot \text{sign}(v) $, 이는 단조성과 대칭성과 같은 핵심 성질을 만족한다.
• 결과로 얻어진 벨만 연산자의 수축 성질을 분석하여, 비선형 함수의 복합 함수가 리프시츠 연속성 상수 $ \kappa \leq 1 $ 를 만족할 경우 수렴함을 증명한다.
• 시간 차분 학습을 사용하여 샘플을 수집하고 가치 추정치를 반복적으로 업데이트함으로써 상호작용 데이터로부터 모델 프리 없는 학습을 가능하게 한다.
• 이론적 분석과 예시(예: 불확실한 전이에서의 위험 회피 행동)를 활용하여 선형 할인과의 행동적 차이를 보여준다.

실험 결과

연구 질문

• RQ1 비선형 벨만 방정식은 인간 및 동물의 의사결정에서 관찰되는 초기 할인과 같은 상황에서 선호도 역전을 모델링할 수 있는가?
• RQ2 보상 또는 가치의 비선형 변환이 진정한 목적이 할인되지 않은 경우에도 예측 및 제어 과제에서 학습 성능을 향상시키는가?
• RQ3 비선형 벨만 연산자가 고정점으로 수렴하는 조건은 무엇인가, 이는 알고리즘의 안정성을 보장하는가?
• RQ4 비선형 함수의 선택(예: 거듭제곱 할인)이 불확실한 결과를 가진 불확실한 환경에서의 에이전트 행동에 어떤 영향을 미치는가?
• RQ5 비선형 가치 함수는 선형 대비 더 풍부한 예측 정보를 포착할 수 있는가, 이는 에이전트가 더 복잡한 세계 모델을 학습하는 데 기여하는가?

주요 결과

• 비선형 벨만 연산자 $ f(r,v) = h(r + g(v)) $ 는 $ h $ 와 $ g $ 가 리프시츠 연속일 경우 복합 함수의 리프시츠 상수가 $ \kappa \leq 1 $ 이면 고유한 고정점으로 수렴함을 보여주며, 이는 안정성을 보장한다.
• 거듭제곱 할인 함수 $ g_{\gamma}(v) = \kappa((|v|+1)^{\gamma} - 1) \cdot \text{sign}(v) $ 는 핵심 바람직한 성질을 만족한다: 기수성(대칭성), 단조성, 그리고 $ \gamma=0 $ 일 때는 시각적(미래를 고려하지 않는) 경우, $ \gamma=1 $ 일 때는 할인이 없는 경우로 축소된다.
• 불확실한 환경에서 비선형 변환(예: 거듭제곱 할인)은 에이전트의 선호도를 뒤바꿀 수 있다: $ p $ 가 작을 경우 기대값이 더 높은 위험 있는 보상($ 2/p $)보다 확정적인 보상 1을 선호할 수 있다.
• 거듭제곱 할인의 경우, 위험한 선택지의 기대값이 더 높더라도 행동 갭이 음수가 될 수 있으며, 이는 비선형성에 의해 유도된 위험 회피를 나타낸다.
• 논문은 비선형 벨만 방정식이 표준 지수 할인으로는 설명할 수 없는 데이터, 예를 들어 시간 간격 선택에서의 선호도 역전을 설명할 수 있음을 보여준다.
• 비선형 벨만 방정식은 진정한 목적이 할인되지 않은 경우에도 성능이 더 좋은 RL 알고리즘을 이끌 수 있는 더 넓은 설계 공간을 여는 것으로, 할인이 성능 향상에 기여하는 것과 유사하다.