[논문 리뷰] Reinforcement Learning in Conflicting Environments for Autonomous Vehicles

Dominik Meyer, Johannes Feldmaier외 1명|arXiv (Cornell University)|2016. 10. 22.

Reinforcement Learning in Robotics참고 문헌 7인용 수 12

한 줄 요약

이 논문은 자율주행차 및 해양 로봇과 관련된 뉴컴의 문제와 협력자 갈등 상황에서 수정되지 않은 강화학습(RL) 에이전트의 행동 방식을 조사한다. ε-그리디 탐색을 사용한 SARSA 및 AVGQ 알고리즘을 통해, RL 에이전트는 최대 기대효용 해법으로 수렴함을 보이며, 예측된 협력 확률에 따라 행동을 적응시키지만, 예측 정확도가 0.75 기준선 근처일 경우 일관된 학습에 실패함을 확인한다.

ABSTRACT

In this work, we investigate the application of Reinforcement Learning to two well known decision dilemmas, namely Newcomb's Problem and Prisoner's Dilemma. These problems are exemplary for dilemmas that autonomous agents are faced with when interacting with humans. Furthermore, we argue that a Newcomb-like formulation is more adequate in the human-machine interaction case and demonstrate empirically that the unmodified Reinforcement Learning algorithms end up with the well known maximum expected utility solution.

연구 동기 및 목표

• 수정되지 않은 강화학습 에이전트가 인간-기계 상호작용을 모델링하는 뉴컴의 문제와 협력자 갈등과 같은 의사결정 딜레마에서 어떻게 작동하는지 분석하기 위해.
• 협력이 결정론적이지 않고 예측 기반인 환경에서 표준 RL 알고리즘이 최적 행동을 학습할 수 있는지 평가하기 위해.
• 개별 및 공동 수혜 설정에서 SARSA 및 AVGQ RL 에이전트의 성능을 기준 전략과 비교하기 위해.
• 보상 구조와 예측 정확도가 갈등적이고 협력-경쟁적인 로봇 상황에서의 학습 결과에 어떻게 영향을 미치는지 조사하기 위해.
• 해양 정비 및 자율주행과 같은 실생활 응용 분야에서 자율 행동 계획을 위한 RL의 타당성을 평가하기 위해.

제안 방법

• 저자는 두 개의 누출 상황을 가진 심해 정비 로봇을 뉴컴 유사 의사결정 문제로 모델링하여, 한 로봇의 행동이 다른 로봇에 의해 통계적 모델 기반으로 예측됨을 가정한다.
• 에이전트의 누출 수리 여부 선택을 두 개의 손잡이 슬롯 문제로 표현하며, 보상은 회귀(부정적 수혜) 기반으로 설정된다.
• SARSA 및 AVGQ(평균 Q값) 알고리즘을 ε-그리디 탐색과 함께 적용하며, 학습률 α=0.1, 할인 인자 γ=0.9, ε=0.1을 사용하여 총 10,000회 반복을 50회 평균화하여 수행한다.
• 환경에는 예측 정확도가 변하는 예측 메커니즘이 포함되어 있어, 에이전트가 파artner 로봇의 행동을 얼마나 잘 예측할 수 있는지 시뮬레이션한다.
• 기준 전략으로 항상 수리하는 에이전트와 결코 수리하지 않는 에이전트를 사용하여 학습 에이전트와의 성능 비교를 수행한다.
• 학습 결과에 영향을 미치는 보상 집계 방식을 평가하기 위해 개별 회귀(I) 및 총 회귀(T) 수혜 설정을 평가한다.

실험 결과

연구 질문

• RQ1 SARSA 및 AVGQ와 같은 표준 강화학습 알고리즘이 알고리즘 수정 없이도 뉴컴 유사 의사결정 딜레마에서 최적 행동을 학습할 수 있는가?
• RQ2 파트너 행동 예측 정확도가 협력-경쟁 상황에서 RL 에이전트의 학습 성능과 행동 선택에 어떻게 영향을 미치는가?
• RQ3 보상 구조—개별 회귀 대비 총 회귀—가 협력자 갈등 설정에서 RL 에이전트의 학습 결과 및 수렴 행동에 상당한 영향을 미치는가?
• RQ4 협력 확률이 어느 정도일 때 RL 학습이 붕괴되며, 그 이유는 무엇인가?
• RQ5 불일치 환경에서 수정되지 않은 RL 에이전트가 최대 기대효용 해법으로 수렴하는 정도는 어느 정도인가?

주요 결과

• SARSA 및 AVGQ 에이전트는 파트너의 협력 확률이 매우 높거나 매우 낮을 경우 기대효용을 최대화하기 위해 행동을 적응시키며 성공적으로 학습한다.
• 파트너의 협력 확률이 0.75에 가까워질 경우, RL 에이전트는 일관된 패턴을 구분하지 못하고 무작위 행동 선택으로 전환하여 학습 실패 지점임을 나타낸다.
• 그림 1(c)의 수혜 결과는 에이전트의 성능이 기대효용 해법과 매우 유사하게 따라가며, 일관된 예측 조건에서 최적 행동이 나타남을 확인한다.
• 개별 회귀 설정에서는 수리하지 않는 것이 최적 전략가 되는 반면, 총 회귀 설정에서는 수리하는 것이 우세함—이것은 데일리의 핵심 구조가 RL 시뮬레이션에서도 유지됨을 보여준다.
• 특히 높은 정확도 예측 환경에서, AVGQ는 표준 SARSA보다 더 일관되고 기대효용 해법에 가까운 방식으로 학습하여 성능이 뛰어나다.
• 결과는 보상 구조와 학습 알고리즘 선택이 에이전트 행동에 상당한 영향을 미친다는 것을 보여주며, 자율 의사결정 시스템에서 보상 형상화의 중요성을 입증한다.