[논문 리뷰] Avoiding Side Effects By Considering Future Tasks

Victoria Krakovna, Laurent Orseau외 3명|arXiv (Cornell University)|2020. 01. 01.

Computability, Logic, AI Algorithms인용 수 8

한 줄 요약

이 논문은 미래 작업 수행 능력을 보상하는 방식으로 측면 효과를 방지하는 보조 보상 함수를 자동으로 생성하는 방법을 제안한다. 기본 정책을 사용해 수행 가능한 미래 작업을 필터링함으로써 간섭 유도 요인을 피하고, 격자세계 환경에서 기존의 영구적 행동 방지 방법보다 우수한 성능을 보인다.

ABSTRACT

Designing reward functions is difficult: the designer has to specify what to do (what it means to complete the task) as well as what not to do (side effects that should be avoided while completing the task). To alleviate the burden on the reward designer, we propose an algorithm to automatically generate an auxiliary reward function that penalizes side effects. This auxiliary objective rewards the ability to complete possible future tasks, which decreases if the agent causes side effects during the current task. The future task reward can also give the agent an incentive to interfere with events in the environment that make future tasks less achievable, such as irreversible actions by other agents. To avoid this interference incentive, we introduce a baseline policy that represents a default course of action (such as doing nothing), and use it to filter out future tasks that are not achievable by default. We formally define interference incentives and show that the future task approach with a baseline policy avoids these incentives in the deterministic case. Using gridworld environments that test for side effects and interference, we show that our method avoids interference and is more effective for avoiding side effects than the common approach of penalizing irreversible actions.

연구 동기 및 목표

• 강화학습에서 측면 효과 방지를 자동화함으로써 보상 설계자의 부담을 줄이기 위해.
• 작업 완료를 넘어서 어떤 행동을 피해야 하는지 명시하는 과제를 해결하기 위해.
• 미래 작업 수행 가능성을 유지하기 위해 환경과 간섭을 방지하기 위해.
• 정적 환경에서 간섭 유도 요인을 공식적으로 정의하고 제거하기 위해.
• 격자세계 환경을 사용하여 측면 효과와 간섭을 방지하는 데의 효과를 평가하기 위해.

제안 방법

• 미래 작업 수행 능력을 유도하는 보조 보상 함수를 도입한다.
• 기본 행동(예: 아무것도 하지 않음)을 나타내는 기본 정책을 사용해 기본적으로 수행할 수 없는 미래 작업을 필터링한다.
• 미래 작업은 반드시 기본 정책 하에서 수행 가능한 경우에만 고려되며, 이는 인위적인 간섭 유도 유도 요인을 방지한다.
• 이러한 필터링된 미래 작업을 달성할 수 있는 능력이 감소하는 행동은 보조 보상으로 처벌된다.
• 이 방법은 정적 환경에서 간섭 유도 요인을 제거함을 공식적으로 증명한다.
• 이 방법은 측면 효과 및 간섭 행동을 테스트하기 위해 설계된 격자세계 환경에서 평가된다.

실험 결과

연구 질문

• RQ1 미래 작업 수행 능력 기반 보조 보상이 수동적 보상 설계 없이 측면 효과를 효과적으로 줄일 수 있는가?
• RQ2 기본 정책을 사용함으로써 에이전트 행동에서 간섭 유도 요인이 제거되는가?
• RQ3 측면 효과 방지를 위해 기존의 영구적 행동 방지 방법과 비교했을 때 이 방법은 어떻게 성능을 내는가?
• RQ4 이 방법은 유해한 환경 간섭을 방지하면서도 작업 성능을 유지할 수 있는가?
• RQ5 기본 정책을 통한 미래 작업 필터링이 강건성과 일치성 향상에 기여하는가?

주요 결과

• 제안된 방법은 기본 정책 하에서 수행 가능한 미래 작업만 필터링함으로써 환경 간섭을 효과적으로 방지한다.
• 격자세계 환경에서 기존의 영구적 행동 방지 방법보다 측면 효과를 줄이는 데 더 뛰어난 성능을 보였다.
• 공식 분석을 통해 이 방법은 정적 환경에서 간섭 유도 요인을 제거함을 입증했다.
• 미래 작업 수행 능력 기반 보조 보상은 더 강건하고 일치성이 높은 에이전트 행동을 이끌어낸다.
• 기본 정책을 통한 필터링 메커니즘은 미래 작업 수행 가능성을 인위적으로 향상시키기 위해 환경을 조작하는 것을 방지한다.
• 실험 결과는 이 방법이 의도치 않은 측면 효과를 최소화하면서도 높은 작업 성능을 유지함을 보여주었다.