[논문 리뷰] An Information-Theoretic Perspective on Credit Assignment in Reinforcement Learning

Dilip Arumugam, Peter Henderson외 1명|arXiv (Cornell University)|2021. 03. 10.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 강화학습에서 신용 할당을 공식화하기 위해 정보이론적 프레임워크를 제안하며, 보상의 희소성보다는 정보의 희소성이 효율적 학습의 진정한 장애물임을 주장한다. 고정된 행동 정책 하에서 행동과 수익 간의 상호정보량 측정을 도입하여, 정보이론적 양이 신용 할당을 정량화하고 증명 가능한 효율적 학습 메커니즘을 가능하게 함을 보여준다.

ABSTRACT

How do we formalize the challenge of credit assignment in reinforcement learning? Common intuition would draw attention to reward sparsity as a key contributor to difficult credit assignment and traditional heuristics would look to temporal recency for the solution, calling upon the classic eligibility trace. We posit that it is not the sparsity of the reward itself that causes difficulty in credit assignment, but rather the \\emph{information sparsity}. We propose to use information theory to define this notion, which we then use to characterize when credit assignment is an obstacle to efficient learning. With this perspective, we outline several information-theoretic mechanisms for measuring credit under a fixed behavior policy, highlighting the potential of information theory as a key tool towards provably-efficient credit assignment.

연구 동기 및 목표

• 강화학습에서의 신용 할당 문제를 보상의 희소성가 아니라 행동과 수익 간의 정보 희소성으로 재정의하기 위해.
• 특히 행동과 수익 간의 상호정보량을 통해 정보 이론을 사용하여 신용 할당의 어려움을 공식화하기 위해.
• 고정된 행동 정책 하에서 상태-행동 쌍의 기여도를 정량화하는 정보이론적 신용 할당 메커니즘을 개발하기 위해.
• 경로를 따라 연속적으로 나타나는 수익의 순서를 분석함으로써, 인과 정보 이론과 신용 할당을 연결하기 위해.
• 장수평, 희소 보상 작업을 위한 효율적 강화학습 알고리즘에 정보이론 원리를 통합할 기초를 마련하기 위해.

제안 방법

• 행동(행동)과 관측된 수익 간의 상호정보량이 낮은 것을 정보 희소성으로 정의하여, 신용 할당의 핵심 과제로 삼는다.
• 각 타임스텝 $h$에서의 신용 할당을 정량화하기 위해 $\mathcal{I}(Z_h; \tau^h | Z_{h+1}^H)$ 형태의 상호정보량 측정을 제안한다. 여기서 $Z_h$는 시간 $h$에서의 수익이다.
• 상호정보량의 체인 법칙을 적용하여 총 정보를 각 타임스텝의 기여도로 분해함으로써, 단일 타임스텝 기반의 신용 할당을 가능하게 한다.
• 과거 행동에서 미래 수익으로의 정보 흐름을 모델링하기 위해 인과 정보 이론을 적용하며, 수익을 인과적 매개체로 간주한다.
• 결과적으로 $\mathcal{I}(\tau; Z^H) = \sum_{h=1}^H \mathcal{H}(R_h | Z_{h+1}^H)$ 를 도출하여, 미래 수익을 조건으로 한 보상의 엔트로피가 신용 할당을 정량화함을 보여준다.
• 확정적인 보상이 허용될 경우 상호정보량 표현식이 단순화되어, 신용 신호의 계산이 실현 가능해짐을 확립한다.

실험 결과

연구 질문

• RQ1 보상의 희소성이 공통적인 직관과는 달리, 왜 신용 할당의 곤란의 진정한 원인이 되지 않는가?
• RQ2 정보 이론은 어떻게 신용 할당에서 '정보의 희소성' 개념을 공식화하는 데 사용될 수 있는가?
• RQ3 고정된 행동 정책 하에서 개별 상태-행동 쌍의 신용 할당을 정량화하는 데 사용할 수 있는 정보이론적 측정법은 무엇인가?
• RQ4 경로를 따라 나타나는 수익의 순서는 신용 할당에서 인과적 정보 흐름과 어떻게 관련이 있는가?
• RQ5 정보이론적 신용 측정법은 장수평, 희소 보상 MDP에서 증명 가능한 효율적 학습을 이끌 수 있는가?

주요 결과

• 보상의 희소성만으로는 신용 할당의 곤란을 결정하지 않으며, 보상을 상수만큼 이동시키는 것은 최적 정책이나 학습 곤란도 변화시키지 않는다.
• 정보 희소성—즉, 행동과 수익 간의 상호정보량이 낮은 것—이 신용 할당 곤란의 진정한 근본 원인으로 규명된다.
• 논문은 $\mathcal{I}(\tau; Z^H) = \sum_{h=1}^H \mathcal{H}(R_h | Z_{h+1}^H)$ 를 도출하여, 미래 수익을 조건으로 한 보상의 엔트로피를 통해 신용 할당을 정량화할 수 있음을 보여준다.
• 상호정보량 $\mathcal{I}(Z_h; \tau^h | Z_{h+1}^H)$ 는 시간 $h$에서 행동에 할당된 정확한 정보이론적 측정법을 제공한다.
• 이 프레임워크는 신용 할당이 본질적으로 정보 흐름과 관련되어 있으며, 인과 정보 이론이 시간에 따른 수익 전파의 동적 특성을 자연스럽게 모델링함을 드러낸다.
• 결과적으로 정보이론적 측정법이 강화학습에서 증명 가능한 효율적 신용 할당 메커니즘 설계의 기초가 될 수 있음을 시사한다.