[논문 리뷰] Modularity in Reinforcement Learning via Algorithmic Independence in Credit Assignment

Michael Chang, Sid Kaushik외 2명|arXiv (Cornell University)|2021. 06. 28.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 강화학습에서 동적 모듈러리티를 공식화하기 위한 프레임워크를 제안한다. 이는 학습의 알고리즘적 원인 모델에서의 d-분리 조건인 모듈러리티 기준을 통해 신용 할당에서 알고리즘적 독립성을 강제함으로써 이루어진다. 이는 특정 단계별 시간 차분 방법이 이 기준을 만족하고 있으며, 특히 이전에 해결된 과제들에 다시 적응할 때, 정책 그래เดียน트 방법과는 달리 열악한 샘플 효율성을 보이며, 치명적인 잊음 현상에 시달리지 않는다는 것을 보여준다.

ABSTRACT

Many transfer problems require re-using previously optimal decisions for solving new tasks, which suggests the need for learning algorithms that can modify the mechanisms for choosing certain actions independently of those for choosing others. However, there is currently no formalism nor theory for how to achieve this kind of modular credit assignment. To answer this question, we define modular credit assignment as a constraint on minimizing the algorithmic mutual information among feedback signals for different decisions. We introduce what we call the modularity criterion for testing whether a learning algorithm satisfies this constraint by performing causal analysis on the algorithm itself. We generalize the recently proposed societal decision-making framework as a more granular formalism than the Markov decision process to prove that for decision sequences that do not contain cycles, certain single-step temporal difference action-value methods meet this criterion while all policy-gradient methods do not. Empirical evidence suggests that such action-value methods are more sample efficient than policy-gradient methods on transfer problems that require only sparse changes to a sequence of previously optimal decisions.

연구 동기 및 목표

• 학습 도중 메커니즘이 변화하는 동적 학습 시스템에서의 모듈러리티를 공식화하기 위해.
• 강화학습에서 학습 가능한 메커니즘의 독립적 수정이 가능한 조건을 정의하기 위해.
• 학습 알고리즘이 모듈러한 신용 할당을 지원하는지 평가하기 위한 실용적 기준을 개발하기 위해.
• 기존 최적 정책에 대한 희소한 변경만 필요한 과제에서 일부 강화학습 알고리즘이 다른 알고리즘보다 더 효율적으로 전이되는 이유를 설명하기 위해.
• 신용 할당 모듈러리티를 이해하기 위한 인과적이고 알고리즘적 정보이론적 기반을 제공하기 위해.

제안 방법

• 학습의 알고리즘적 인과 모델(ACML)을 도입하여 전체 학습 과정을 나타내는 인과 그래프를 구성한다.
• 기존 계산 그래프를 조건으로 한 메커니즘의 알고리즘적 독립성으로서 동적 모듈러리티를 정의한다.
• 모듈러리티 기준을 제안한다: ACML 내에서의 알고리즘적 독립성을 테스트하는 d-분리 조건이다.
• 개별 행동가치 메커니즘을 별도로 표현하기 위해 MDP의 대안으로 사회적 의사결정 프레임워크를 사용한다.
• 단계별 시간 차분 방법과 정책 그래เดียน트 방법을 비교하기 위해 모듈러리티 기준을 적용한다.
• 최소한의 정책 변경이 수반되는 과제 간 전이 효율성을 실증적으로 평가하며, CVS(클론드 비크레프 사회)와 PPO를 대조한다.

실험 결과

연구 질문

• RQ1 학습 도중 메커니즘이 변화하는 동적 학습 시스템에서 모듈러리티를 공식적으로 정의할 수 있는가?
• RQ2 강화학습에서 학습 가능한 메커니즘의 독립적 수정이 가능한 조건은 무엇인가?
• RQ3 실용적으로 어떤 학습 알고리즘이 모듈러한 신용 할당을 지원하는지 테스트할 수 있는가?
• RQ4 왜 일부 강화학습 알고리즘이 다른 알고리즘보다 전이 과정에서 최적 행동을 더 잘 유지하는가?
• RQ5 네트워크 분해에 비해, 기울기에서의 알고리즘적 독립성이 더 유연한 적응에 기여하는 정도는 어느 정도인가?

주요 결과

• 모듈러리티 기준은 특정 단계별 시간 차분 방법이 신용 할당에서 알고리즘적 독립성을 만족한다는 것을 성공적으로 식별하였고, 모든 정책 그래디언트 방법은 그렇지 않다는 것을 보여준다.
• 실증 결과는 CVS(단계별 TD 방법)가 유사한 전이 과제로 전이할 때 PPO보다 13.9배 더 높은 샘플 효율성을 보이며, 단일 행동 변경만으로도 성능을 유지함을 시사한다.
• 새로운 과제에서 이전 과제로 전이할 경우, CVS는 PPO보다 10배 이상 더 높은 샘플 효율성을 보이며, PPO가 모듈러리티 부족으로 인해 치명적인 잊음 현상을 겪고 있음을 시사한다.
• PPOF(분해된 PPO 변종)는 전방 전이에서는 PPO와 유사한 성능을 보이나, 후방 전이에서는 CVS와 유사한 성능을 보이며, 이는 네트워크 분해만으로는 잊음 현상을 완화할 수는 있지만, 알고리즘적 독립성만큼 효과적이지 않음을 시사한다.
• PPO에서 알고리즘적 독립성이 부족하여, 새로운 최적 시퀀스에 포함되지 않는 행동 메커니즘(예: 관련 없는 행동)이 학습 도중 크게 수정되며, 이로 인해 잊음 현상이 발생한다.
• 본 연구는 테스트된 설정에서, 네트워크 분해에 비해 기울기에서의 알고리즘적 독립성이 전이 효율성의 더 강력한 예측 변수임을 드러냈다.