[논문 리뷰] Adversarially Guided Self-Play for Adopting Social Conventions

Mycal Tucker, Yilun Zhou외 1명|arXiv (Cornell University)|2020. 01. 16.

Reinforcement Learning in Robotics참고 문헌 27인용 수 6

한 줄 요약

이 논문은 적대적 자기대전(ASP)을 제안하며, 쌍체의 입력-출력 데이터가 아닌 단지 규범을 따르는 에이전트의 출력 데이터만을 사용하여 에이전트가 기존의 사회적 관례를 학습하고 채택할 수 있도록 한다. 적대적 훈련과 자기대전을 결합하고 최소한의 쌍체 데이터를 활용함으로써 ASP는 학습 효율성을 크게 향상시켜, 단 두 개의 쌍체 예시만으로도 강력한 사회적 규범 준수를 달성한다.

ABSTRACT

Robotic agents must adopt existing social conventions in order to be effective teammates. These social conventions, such as driving on the right or left side of the road, are arbitrary choices among optimal policies, but all agents on a successful team must use the same convention. Prior work has identified a method of combining self-play with paired input-output data gathered from existing agents in order to learn their social convention without interacting with them. We build upon this work by introducing a technique called Adversarial Self-Play (ASP) that uses adversarial training to shape the space of possible learned policies and substantially improves learning efficiency. ASP only requires the addition of unpaired data: a dataset of outputs produced by the social convention without associated inputs. Theoretical analysis reveals how ASP shapes the policy space and the circumstances (when behaviors are clustered or exhibit some other structure) under which it offers the greatest benefits. Empirical results across three domains confirm ASP's advantages: it produces models that more closely match the desired social convention when given as few as two paired datapoints.

연구 동기 및 목표

• 로봇 에이전트가 도로의 오른쪽 또는 왼쪽 주행과 같은 존재하는 사회적 관례를 채택할 수 있도록 하되, 광범위한 상호작용이나 쌍체 입력-출력 데이터가 필요로 하지 않도록 하는 것.
• 관측 기반 자기대전(OSP)과 같은 이전 방법의 한계를 해결하기 위해, 실세계 환경에서 수집하기가 종종 비현실적인 고비용의 쌍체 데이터(입력 및 출력)에 의존하는 방법의 문제점을 해결하는 것.
• 사회적 규범을 따르는 에이전트의 출력 데이터만을 사용하는 비쌍체 데이터를 활용하여 적대적 훈련을 통해 정책 학습을 이끌어내는 기법을 개발함으로써, 인간이 관찰을 통해 학습하는 방식을 모방하는 것.
• 정책 공간을 기존 사회적 규범의 채택을 유도하도록 형상화하여 다중에이전트 강화학습의 샘플 효율성을 향상시키는 것.
• 다양한 도메인에서의 일반성과 강건성을 입증하기 위해, 의사소통 게임, 오토에코더, 다단계 조율 과제와 같은 다양한 분야에서 접근법의 타당성을 입증하는 것.

제안 방법

• ASP는 사회적 규범을 따르는 에이전트의 비쌍체 출력 데이터만을 사용하여, 훈련 중인 에이전트가 생성한 행동과 규범을 따르는 행동을 구분하는 디스criminator를 도입한다.
• 훈련 중인 에이전트는 디스criminator를 속이도록 최적화되어, 입력 정보 없이도 사회적 규범의 정책 분포와 일치시키는 방식으로 행동한다.
• ASP는 이 적대적 형상화를 자기대전과 통합하여, 다중에이전트가 공동의 MDP에서 서로 훈련함으로써 조율 능력과 수렴 속도를 향상시킨다.
• 이 방법은 제한된 쌍체 데이터(지도 신호용)와 비쌍체 데이터(적대적 정책 형상화용)를 조합하여, 고비용의 쌍체 시연에 대한 의존도를 감소시킨다.
• 이론적 분석은 행동이 군집화되거나 구조적 패턴을 보일 경우 ASP가 가장 효과적임을 보여주며, 이 경우 디스criminator가 정책 학습을 더 효과적으로 이끌 수 있다.
• 모듈러한 설계 덕분에 이 접근법은 딥 강화학습, 이mitation 학습, 오토에코더 등 다양한 학습 프레임워크에 일반적으로 적용 가능하다.

실험 결과

연구 질문

• RQ1 에이전트가 사회적 규범을 따르는 데 필요한 입력-행동 쌍체 데이터 없이, 단지 규범을 따르는 에이전트의 비쌍체 출력 데이터만으로도 사회적 관례를 학습할 수 있는가?
• RQ2 비쌍체 데이터를 활용한 적대적 훈련이 기존 자기대전 또는 이mitation 학습 방법에 비해 정책 학습의 효율성과 정확도를 얼마나 향상시키는가?
• RQ3 행동이 군집화되거나 특정 정책 분포를 보일 때와 같은 구조적 조건에서, 적대적 형상화가 가장 큰 이점을 제공하는가?
• RQ4 ASP는 의사소통 과제와 다단계 조율 게임을 포함한 다양한 다중에이전트 환경에서 일반화 가능한가?
• RQ5 ASP는 사회적 규범에 높은 준수도를 달성하기 위해 필요한 쌍체 시연의 수를 얼마나 줄일 수 있는가?

주요 결과

• ASP는 기존 방법에 비해 단 두 개의 쌍체 데이터 포인트만으로도 사회적 규범 준수도가 훨씬 뛰어나게 달성된다.
• 비쌍체 출력 데이터를 활용함으로써 쌍체 데이터 의존도를 줄여, 관찰 데이터만으로도 규범을 학습하는 것이 가능해진다.
• 의사소통 게임, 오토에코더 훈련, 다중에이전트 조율 과제 등 세 가지 도메인에서의 실험 결과는 목표 규범과의 정책 일치도에서 일관된 향상을 보였다.
• 이론적 분석은 행동이 군집화되거나 구조적 패턴을 보일 경우 ASP가 정책 공간을 효과적으로 형상화함을 확인하였으며, 이는 학습 효율성을 향상시킨다.
• ASP는 인간이 명시적 지시 없이도 환경에서 일관된 행동을 관찰함으로써 학습하는 방식과 유사하게 사회적 규범을 학습시킨다.
• ASP의 디스criminator는 매우 강력한 인덕티브 바이어스 역할을 하여, 최소한의 지도 신호로도 정책을 정확한 규범으로 이끈다.