[논문 리뷰] InfoRL: Interpretable Reinforcement Learning using Information Maximization

Aadil Hayat, Utsav Singh외 1명|arXiv (Cornell University)|2019. 05. 24.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

InfoRL는 정보 최대화를 통해 작업에 대한 다수의 근사 최적 정책을 발견하고 분리하는 강화학습 프레임워크를 제안한다. 잠재 코드와 정책 출력 간 상호정보량을 최대화함으로써, 감독 없이 다양하고 작업을 완수하는 행동을 샘플링할 수 있으며, 연속적이고 이산적인 잠재 공간에서 서로 다른 전략에 대한 분리된 제어를 가능하게 한다.

ABSTRACT

Recent advances in reinforcement learning have proved that given an environment we can learn to perform a task in that environment if we have access to some form of a reward function (dense, sparse or derived from IRL). But most of the algorithms focus on learning a single best policy to perform a given set of tasks. In this paper, we focus on an algorithm that learns to not just perform a task but different ways to perform the same task. As we know when the environment is complex enough there always exists multiple ways to perform a task. We show that using the concept of information maximization it is possible to learn latent codes for discovering multiple ways to perform any given task in an environment.

연구 동기 및 목표

• 강화학습 에이전트가 작업을 수행하는 데 있어 다수의 근사 최적의 방법을 발견하고 제어할 수 있도록 하는 것.
• 서로 다른 해석 가능한 정책에 대응하는 분리된 잠재 표현을 학습하는 것.
• 보상 형상 조정이나 인간의 감독 없이도 정책 다양성을 제공하는 비감독 방법을 제공하는 것.
• 다양한 행동 전략을 통해 목표를 달성하는 강화학습 에이전트의 작동 방식을 이해하고 해석 가능하게 하는 것.
• 잠재 코드 샘플링을 통해 특정 작업 해결 전략을 제어할 수 있도록 하는 것.

제안 방법

• InfoRL는 환경 상태와 잠재 코드를 조건으로 하여 다양한 행동을 생성하는 PPO 기반 정책 네트워크를 사용한다.
• 후행 네트워크는 상태와 예측된 행동에서 원래 샘플된 잠재 코드를 예측하여 상호정보량 최대화를 가능하게 한다.
• 보상 신호는 환경 보상과 후행 네트워크의 재구성 손실을 조합하여, 잠재 코드가 작업 해결 정보를 담고 있도록 유도한다.
• 대조 학습을 통한 정보 최대화를 활용하여 서로 다른 정책에 대응하는 잠재 코드를 분리한다.
• 잠재 코드는 연속형(예: 속도, 방향) 또는 이산형(예: 목표 위치)으로 모델링되어 다양한 행동 모드를 포착한다.
• 이 프레임워크는 인간이 제공한 시연나 보상 형상 조정 없이도 엔드 투 엔드로 비감독 방식으로 훈련된다.

실험 결과

연구 질문

• RQ1 정보 최대화를 활용하여 강화학습에서 한 가지 작업에 대해 다수의 서로 다른 근사 최적의 정책을 발견할 수 있는가?
• RQ2 단일 잠재 코드로 로봇 환경에서 속도, 방향, 목표 도달 등의 서로 다른 행동 전략을 분리하고 제어할 수 있는가?
• RQ3 잠재 코드와 정책 출력 간 상호정보량을 최대화하면 해석 가능하고 다양한 정책 행동을 얻을 수 있는가?
• RQ4 이 방법은 보상 형상 조정이나 인간의 감독 없이도 비감독 설정에서 적용 가능한가?
• RQ5 다양한 환경에서 학습된 잠재 코드가 특정 작업 해결 전략과 얼마나 잘 상관관계를 가지는가?

주요 결과

• InfoRL는 Walker2dSpeed-v1 및 HumanoidSpeed-v1 환경에서 이동 속도를 제어하는 연속형 잠재 코드를 성공적으로 분리하여, 잠재 코드가 증가함에 따라 속도가 단조롭게 변화함을 확인했다.
• AntDirection-v1 환경에서는 잠재 코드를 변화시킴으로써 명확한 방향성 제어가 가능한 다양한 방향성 궤적을 생성했으며, 코드 범위 전반에서 방향 제어가 뚜렷하게 관찰되었다.
• 다중 목표 도달 환경(FetchTwoGoalReachDense-v1 등)에서는 이산형 잠재 코드가 도달한 목표와 강하게 상관관계가 있었으며, 혼동 행렬에서 높은 정확도로 확인되었다.
• 단지 잠재 코드를 변화시킴으로써 다양한 작업을 완수하는 정책을 샘플링할 수 있었으며, 재학습 없이도 서로 다른 전략에 대한 제어가 가능함을 보여주었다.
• 후행 네트워크는 원래의 잠재 코드를 정확히 재구성했으며, 이는 잠재 코드가 정책 행동에 대한 의미 있는 정보를 담고 있음을 확인한다.
• 이 방법은 다양한 환경에 일반화되며 연속형과 이산형 잠재 공간을 모두 지원하여 강건성과 해석 가능성을 입증했다.