[논문 리뷰] Learning Altruistic Behaviours in Reinforcement Learning without External Rewards

Tim Franzmeyer, Mateusz Malinowski외 1명|arXiv (Cornell University)|2021. 07. 20.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 외부 보상이나 다른 에이전트의 목표에 대한 지식 없이도, 다른 에이전트의 향후 선택 가능성(상태 접근 가능성)을 최대화함으로써 자비로운 행동을 학습하는 강화학습 프레임워크를 제안한다. 이 방법은 내재적 호기심을 사용하여 리더 에이전트의 잠재적 향후 상태를 추정하고 이를 최대화하며, 다중 에이전트 환경에서 지도 학습 기반 보조 방법과 비교해도 성능이 유사하거나 뛰어나다.

ABSTRACT

Can artificial agents learn to assist others in achieving their goals without knowing what those goals are? Generic reinforcement learning agents could be trained to behave altruistically towards others by rewarding them for altruistic behaviour, i.e., rewarding them for benefiting other agents in a given situation. Such an approach assumes that other agents' goals are known so that the altruistic agent can cooperate in achieving those goals. However, explicit knowledge of other agents' goals is often difficult to acquire. In the case of human agents, their goals and preferences may be difficult to express fully; they might be ambiguous or even contradictory. Thus, it is beneficial to develop agents that do not depend on external supervision and learn altruistic behaviour in a task-agnostic manner. We propose to act altruistically towards other agents by giving them more choice and allowing them to achieve their goals better. Some concrete examples include opening a door for others or safeguarding them to pursue their objectives without interference. We formalize this concept and propose an altruistic agent that learns to increase the choices another agent has by preferring to maximize the number of states that the other agent can reach in its future. We evaluate our approach in three different multi-agent environments where another agent's success depends on altruistic behaviour. Finally, we show that our unsupervised agents can perform comparably to agents explicitly trained to work cooperatively, in some cases even outperforming them.

연구 동기 및 목표

• 다른 에이전트의 목표를 알지 못하거나 외부 보상을 받지 않더라도 자비로운 행동을 하는 에이전트를 개발하는 것.
• 자기 자신이 향후 선택할 수 있는 상태의 수를 최대화하는 것이 자비로움의 일반적인 지표가 될 수 있는지 조사하는 것.
• 비지도, 내재적 보상 기반 학습이 다중 에이전트 환경에서 지도 학습 기반 협동 훈련과 동일하거나 이를 초월할 수 있는지 평가하는 것.
• 선택 가능성 최대화 목표가 이론적으로 타당하더라도 하위최적 행동으로 이어질 수 있는 실패 모드를 특정하는 것.

제안 방법

• 자비로운 에이전트는 리더 에이전트의 향후 상태 접근 가능성에 기반한 내재적 보상 신호를 사용한다. 이 보상은 내재적 호기심(IC) 모듈을 통해 계산된다.
• IC는 시간에 따라 리더의 상태 분포를 예측하는 예측 모델을 사용하여 추정되며, 이는 자비로운 에이전트가 리더의 선택지를 유지하거나 확장하도록 유도한다.
• 이 방법은 자비로운 에이전트가 모든 에이전트를 관찰하지만 관찰되지 않으며, 리더의 선택지를 최대화하도록 행동하는 다중 에이전트 강화학습 프레임워크에 구현된다.
• 이 접근법은 외부 보상 조정 없이 표준 딥 강화학습 알고리즘(SAC 등)을 사용하여 훈련되며, 내재적 호기심 보상에 기반한다.
• 세 가지 환경—그리드월드, 룩오버레이션, 태그—에서 이론적 협동도가 다양하게 적용된 상황에서 방법을 평가한다.
• 이 방법은 무작위, 경계 페널티, 지도 학습 기반 기준선과 비교되며, 공유 보상 기반 변형도 포함된다.

실험 결과

연구 질문

• RQ1 목표를 알지 못하거나 외부 보상을 받지 않더라도 에이전트가 다른 이에게 자비로운 행동을 학습할 수 있는가?
• RQ2 다른 에이전트의 향후 도달 가능한 상태 수를 최대화하는 것이 다양한 환경에서 자비로움의 타당한 지표가 될 수 있는가?
• RQ3 비지도 자비로운 에이전트의 성능은 다중 에이전트 환경에서 지도 학습 기반 협동 에이전트와 비교해 어떻게 되는가?
• RQ4 선택 가능성 최대화 목표의 실패 모드는 무엇이며, 이는 하이퍼파라미터에 어떻게 의존하는가?

주요 결과

• 태그 환경에서 제안된 방법은 에피소드당 리더가 잡힐 횟수를 2.87 ± 0.96으로 줄여, 지도 학습 기반 기준선(6.94 ± 1.13)을 크게 능가했다.
• 태그 환경에서 비지도 자비로운 에이전트는 랜덤, 케이지 페널티, 심지어 지도 학습 기반 에이전트보다도 더 뛰어난 성능을 보였으며, 내재적 호기심 기반 보상의 효과를 입증했다.
• 룩오버레이션 환경에서는 모든 비지도 기준선을 뛰어넘고, 지도 학습 성능과 동등하거나 이를 초월하여, 다양한 작업에 대한 강건성을 입증했다.
• 그리드월드 실험에서는 자비로운 에이전트가 문을 열어 리더가 더 많은 상태에 도달하도록 하여, 이 메커니즘의 기능적 성공을 확인했다.
• 선택 가능성 최대화가 이론적으로 타당하더라도, 리더의 목표가 상태 다양성과 일치하지 않을 경우 하위최적 행동으로 이어지는 실패 케이스를 특정했으며, 이는 하이퍼파라미터 조정의 신중함이 필요함을 시사한다.
• 결과는 내재적 호기심 기반 선택 가능성 최대화가 목표 정보가 없을 경우 다중 에이전트 강화학습에서 실현 가능하고 확장 가능하며 효과적인 자비로움의 지표임을 시사한다.