[논문 리뷰] On the Critical Role of Conventions in Adaptive Human-AI Collaboration

Andy Shih, Arjun Sawhney외 3명|arXiv (Cornell University)|2021. 04. 07.

Reinforcement Learning in Robotics참고 문헌 29인용 수 33

한 줄 요약

이 논문은 규칙-의존 표현과 관습-의존 표현을 분리하는 학습 프레임워크를 제시하여 새로운 파트너에 빠르게 적응하고 새로운 작업에서 제로샷 협력을 가능하게 하며, 맥락적 밴디트, 블록 배치, 한비, 그리고 인간 연구를 통해 검증된다.

ABSTRACT

Humans can quickly adapt to new partners in collaborative tasks (e.g. playing basketball), because they understand which fundamental skills of the task (e.g. how to dribble, how to shoot) carry over across new partners. Humans can also quickly adapt to similar tasks with the same partners by carrying over conventions that they have developed (e.g. raising hand signals pass the ball), without learning to coordinate from scratch. To collaborate seamlessly with humans, AI agents should adapt quickly to new partners and new tasks as well. However, current approaches have not attempted to distinguish between the complexities intrinsic to a task and the conventions used by a partner, and more generally there has been little focus on leveraging conventions for adapting to new settings. In this work, we propose a learning framework that teases apart rule-dependent representation from convention-dependent representation in a principled way. We show that, under some assumptions, our rule-dependent representation is a sufficient statistic of the distribution over best-response strategies across partners. Using this separation of representations, our agents are able to adapt quickly to new partners, and to coordinate with old partners on new tasks in a zero-shot manner. We experimentally validate our approach on three collaborative tasks varying in complexity: a contextual multi-armed bandit, a block placing task, and the card game Hanabi.

연구 동기 및 목표

• 새로운 인간 파트너에 빠르게 적응해야 하는 AI의 필요성을 관습을 활용해 촉진한다.
• 관습-의존 구성요소와 규칙-의존 구성요소를 분리하는 표현 학습 프레임워크를 제안한다.
• 규칙 표현이 파트너 간 최적 반응 분포의 충분한 통계량이 될 수 있음을 보인다.
• 모듈형 정책 설계를 통해 새로운 파트너에 신속히 적응하고 새로운 작업에서 제로샷 협력을 달성한다.
• 세 가지 공동 작업과 인간-인간 연구를 통해 접근법을 검증한다.

제안 방법

• 공유 보상을 가지는 두 명의 에이전트 MDP를 정의하고 서로 다른 작업 분포와 파트너 분포를 모델링한다.
• 작업 모듈 gt와 파트너별 모듈 gpi를 곱하여 자아 에이전트의 정책을 구성하는 모듈식 정책 아키텍처를 도입한다.
• Wasserstein-거리 항 D(s)를 이용한 정규화를 통해 gt가 파트너 분포에서의 주변 최적 반응의 주변 분포에 가까워지도록 한다.
• (gt가) 결정론적 자아 에이전트의 최적 반응 전략 분포에 대한 충분한 통계량을 근사한다는 것을(비공식적으로) 증명한다.
• 동일 작업에서 여러 파트너와 함께 학습하여 작업 Representations와 파트너 Representations를 분리해 학습한다.
• 새로운 파트너에 대한 적응 및 새로운 작업에서의 제로샷 협력을 맥락적 밴디트, 블록 배치, 한비를 통해 평가하고, 관습 전달을 조사하기 위한 인간-인간 연구를 포함한다.

실험 결과

연구 질문

• RQ1 주변(작업 주도) 정책 표현이 파트너 간의 최적 반응 분포에 대한 충분한 통계량으로 작용할 수 있는가?
• RQ2 관습과 규칙 표현을 분리하면 같은 작업에서 새로운 파트너에 대한 더 빠른 적응을 지원하는가?
• RQ3 동일하거나 유사한 대칭성을 가진 새로운 작업에서 관습이 파트너와 함께 학습될 때 제로샷 협력으로 전달되는가?
• RQ4 사람 파트너가 작업 간에 관습을 어떻게 이어가며, 어떤 조건에서 가능한가?
• RQ5 정규화를 포함한 모듈식 아키텍처가 적응 상황에서 기준선보다 성능이 우수한가?

주요 결과

• 작업(관습 배제)과 파트너(관습 특유) 표현을 분리하는 모듈식 아키텍처가 새로운 파트너에 대한 적응을 향상시킨다.
• 작업 모듈을 주변 최적 반응 전략과 정렬하도록 정규화하면 보유한 마진 근사에 대한 거리가 감소하고 새로운 작업에서의 제로샷 협력이 향상된다.
• 맥락적 밴디트, 블록 배치, 한비 변형 전반에 걸친 실험에서 기본 Baselines 및 First-Order MAML 대비 개선된 적응 성능이 나타난다.
• 인간 연구는 유사한 대칭성을 가진 작업 간에 인간이 관습을 전달한다는 점을 시사하며, 제시된 표현 분리의 타당성을 뒷받침한다.
• 이 방법은 모든 작업별 세부 정보를 다시 학습하지 않고도 오래된 파트너와 새로운 작업에서의 협력을 가능하게 한다.