[논문 리뷰] Measuring and avoiding side effects using relative reachability

Victoria Krakovna, Laurent Orseau외 2명|arXiv (Cornell University)|2018. 06. 04.

Reinforcement Learning in Robotics참고 문헌 14인용 수 12

한 줄 요약

이 논문은 상대적 도달 가능성(relative reachability)을 제안하여 강화학습 에이전트의 부작용을 측정하고 방지하는 새로운 방법을 제시한다. 이는 기본 상태에 대한 상태의 도달 가능성과 비교함으로써, 부작용을 방지하기 위해 불가역적 또는 동적인 환경에서 악성 인cent티브를 피한다. 이는 격자환경에서 기존 방법보다 우수한 성능을 보이며, 모든 테스트 시나리오에서 원하는 행동을 유도함을 실험적으로 입증한다.

ABSTRACT

How can we design reinforcement learning agents that avoid causing unnecessary disruptions to their environment? We argue that current approaches to penalizing side effects can introduce bad incentives in tasks that require irreversible actions, and in environments that contain sources of change other than the agent. For example, some approaches give the agent an incentive to prevent any irreversible changes in the environment, including the actions of other agents. We introduce a general definition of side effects, based on relative reachability of states compared to a default state, that avoids these undesirable incentives. Using a set of gridworld experiments illustrating relevant scenarios, we empirically compare relative reachability to penalties based on existing definitions and show that it is the only penalty among those tested that produces the desired behavior in all the scenarios.

연구 동기 및 목표

• 기존의 부작용 페널티가 불가역적 행동이나 외부 변화가 있는 환경에서 가지는 한계를 해결하기 위해.
• 현재의 부작용 회피 방법에서 발생하는 악성 인센티브(예: 필요한 불가역적 행동을 회피하게 하는 것)를 식별하고 제거하기 위해.
• 기본 상태로부터의 상대적 도달 가능성에 기반한 일반적이고 강력한 부작용 정의를 제안하기 위해.
• 다양한 격자환경 시나리오에서 제안된 방법을 기존 접근법과 비교하여 실험적으로 평가하기 위해.
• 기존 방법이 실패하는 모든 테스트 시나리오에서 상대적 도달 가능성 방법이 원하는 에이전트 행동을 유도함을 보여주기 위해.

제안 방법

• 기본 상태와의 비교를 통해 상태의 상대적 도달 가능성으로 부작용을 정의하며, 도달 가능성은 상태에 도달하기 위한 최소 행동 단계를 측정한다.
• 현재 상태와 기본 상태 간의 도달 가능성 차이를 페널티로 계산하며, 이는 기본 도달 가능성로 정규화된다.
• 강화학습 학습 중에 페널티를 적용하여 중요한 상태로의 도달 가능성 감소를 방지하는 행동을 억제한다.
• 불가역적 행동이나 외부 변화가 있는 다양한 시나리오를 포함한 격자환경을 사용하여 방법을 테스트한다.
• 기존의 부작용 페널티(예: 상태 커버리지, 도달 가능성 기반 페널티)와 비교하여 에이전트 행동과 작업 성능 측면에서 상대적 도달 가능성을 평가한다.
• 다양한 시나리오를 통해 제안된 방법의 강건성과 일관성을 평가한다.

실험 결과

연구 질문

• RQ1 상대적 도달 가능성 페널티는 작업에서 필수적인 불가역적 행동을 피하는 것을 방지하는가?
• RQ2 다른 에이전트나 환경 역학성과 같은 외부 변화 요인이 있는 환경에서 상대적 도달 가능성은 어떻게 작동하는가?
• RQ3 기존의 부작용 페널티에서 발생하는 악성 인센티브(예: 유익한 변화를 회피하게 하는 것)를 상대적 도달 가능성은 피할 수 있는가?
• RQ4 다양한 격자환경 시나리오에서 상대적 도달 가능성은 일관되게 원하는 행동을 유도하는가?
• RQ5 안전성과 작업 성능 측면에서 상대적 도달 가능성은 기존의 부작용 페널티와 정량적·정성적으로 어떻게 비교되는가?

주요 결과

• 테스트된 페널티 중에서 상대적 도달 가능성은 불가역적 행동과 외부 환경 변화가 있는 모든 격자환경 시나리오에서 유일하게 원하는 행동을 유도한다.
• 기존의 부작용 페널티는 종종 악성 인센티브를 유도하며, 예를 들어 다른 에이전트의 행동을 막거나 필수적인 불가역적 행동을 피하게 한다.
• 상대적 도달 가능성 방법은 도달 가능성 감소를 초래하더라도 작업 완수에 필수적인 행동을 페널티 없이 성공적으로 피할 수 있다.
• 외부 변화가 있는 시나리오에서는 환경 변화가 에이전트의 통제를 벗어난 경우에도 잘못된 페널티를 적용하지 않는다.
• 이 방법은 다양한 환경에서 일관된 성능을 유지하며, 환경 역학성에 대한 강건성을 보여준다.
• 실험 결과에 따르면 상대적 도달 가능성으로 학습된 에이전트는 작업 성능을 희생시키지 않고도 부작용을 피하며, 뜻하지 않은 행동적 인센티브를 유도하지 않는다.