[논문 리뷰] Evaluating the Robustness of Collaborative Agents

P. A. Knott, Micah Carroll외 5명|arXiv (Cornell University)|2021. 01. 14.

Reinforcement Learning in Robotics참고 문헌 33인용 수 8

한 줄 요약

이 논문은 인간-AI 상호작용에서 협업 에이전트의 내구성 평가를 위해 단위 테스트 방법론을 제안하며, Overcooked 환경에서의 극단적 케이스 시나리오를 활용해 평균 보상 지표가 포착하지 못하는 실패 사례를 탐지한다. 실험을 통해 테스트 세트가 표준 검증 방식에서 확보할 수 없는 중요한 내구성 통찰—예를 들어 새로운 파트너 행동에 대한 강건성 향상—을 드러내며, 특히 보상 지표와 내구성 지표가 갈라질 경우에 더욱 두드러진다.

ABSTRACT

In order for agents trained by deep reinforcement learning to work alongside humans in realistic settings, we will need to ensure that the agents are \emph{robust}. Since the real world is very diverse, and human behavior often changes in response to agent deployment, the agent will likely encounter novel situations that have never been seen during training. This results in an evaluation challenge: if we cannot rely on the average training or validation reward as a metric, then how can we effectively evaluate robustness? We take inspiration from the practice of \emph{unit testing} in software engineering. Specifically, we suggest that when designing AI agents that collaborate with humans, designers should search for potential edge cases in \emph{possible partner behavior} and \emph{possible states encountered}, and write tests which check that the behavior of the agent in these edge cases is reasonable. We apply this methodology to build a suite of unit tests for the Overcooked-AI environment, and use this test suite to evaluate three proposals for improving robustness. We find that the test suite provides significant insight into the effects of these proposals that were generally not revealed by looking solely at the average validation reward.

연구 동기 및 목표

• 딥 강화학습을 통해 훈련된 협업 AI 에이전트의 내구성 평가 과제를 해결하며, 특히 배포 시 예상치 못한 인간 행동과 상태에 노출될 경우의 영향을 고려한다.
• 평균 검증 보상에만 의존할 경우 희귀하거나 새로운 극단적 케이스에서의 성능을 포착하지 못하는 한계를 극복한다.
• 소프트웨어 공학의 단위 테스트에서 영감을 얻은 체계적 테스트 프레임워크를 개발하여 다양한 파트너 및 환경 조건에서의 에이전트 행동 실패 모드를 사전에 탐지한다.
• 테스트 기반 평가가 보상 기반 지표만으로는 확보할 수 없는 더 세밀하고 신뢰할 수 있는 내구성 통찰을 제공함을 입증하며, 특히 변동성이 높은 실세계 배포 시나리오에서 유의미하다.

제안 방법

• 특정 극단적 케이스의 파트너 행동(예: 정지, 고집스러운 행동, AFK 상태)과 환경 상태(예: 잘못된 위치에 놓인 물건, 이례적인 물체 배치)를 대상으로 한 단위 테스트 세트를 설계한다.
• 에이전트가 동적 제약 조건 하에서 식사 조리 및 제공을 협력적으로 수행해야 하는 Overcooked-AI 환경에 테스트 세트를 적용한다.
• 세 가지 내구성 향상 전략—(1) 이론적 마음 모델(ToM)을 통한 인간 모델 품질 향상, (2) 에이전트 집단을 활용한 인간 모델 다양성 증가, (3) 인간-인간 플레이 상태에서의 훈련 초기화—에 대해 테스트 세트를 적용한다.
• 평균 검증 보상 외에도 각 단위 테스트의 통과 비율을 측정하여 내구성과 평균 성능 간의 비교를 가능하게 한다.
• 행동 복제(BC)와 ToM 에이전트의 혼합 집단을 활용하여 다양한 실패 모드에서 보상과 내구성 간의 상호 교환 관계를 탐색한다.
• 집단 크기와 파rameter 선택의 영향을 분석하여 내구성에 미치는 영향을 평가하며, 이는 랜덤 샘플링 대비 수동으로 조정된 ToM 파rameter 샘플링 방식을 포함한다.

실험 결과

연구 질문

• RQ1 평균 검증 보상은 인간 파트너와의 새로운 또는 극단적 케이스 시나리오에서의 내구성과 얼마나 관련이 있는가?
• RQ2 단위 테스트 세트는 협업 딥 강화학습에서 표준 보상 기반 평가로는 감지되지 않는 내구성 실패를 탐지할 수 있는가?
• RQ3 향상된 인간 모델 품질, 모델 다양성, 상태 다양성 등의 다양한 전략이 단위 테스트를 통해 측정된 에이전트 내구성에 어떤 영향을 미치는가?
• RQ4 평균 성능 향상과 특정 실패 모드에 대한 내구성 향상 간에 상충 관계가 존재하는가?
• RQ5 단위 테스트는 표준 지표가 포착하지 못하는 미세한 내구성 문제—예를 들어 메모리 관련 실패—를 탐지할 수 있는가?

주요 결과

• 기본 딥 강화학습 에이전트는 단위 테스트 세트에서 65% 미만의 점수를 기록하여, 표준 훈련 방식이 강건한 협업 행동을 유도하지 못한다는 점을 확인한다.
• 인간-인간 플레이 상태에서의 초기화는 테스트 세트에서의 내구성 향상을 이끌었지만 평균 검증 보상은 감소시켜, 평균 성능와 새로운 상태에 대한 내구성 간의 상충 관계를 시사한다.
• 행동 복제(BC)와 이론적 마음 모델(ToM) 에이전트의 혼합 집단은 평균 검증 보상에 있어 뚜렷한 향상을 보였으며, 이는 검증 세트의 혼합 성격 때문일 가능성이 높다. 그러나 테스트 세트 통과 비율 향상은 중간 정도에 그쳤다.
• 혼합 집단은 에이전트의 내구성을 향상시켰지만 순수 BC 집단 대비 메모리 내구성은 약간 악화시켜, 내구성 차원 간의 미묘한 상충 관계를 시사한다.
• ToM 파ram터를 랜덤으로 샘플링하는 것이 수동으로 조정된 다양성 전략보다 우수한 성능을 보였으며, 이는 모델 다양성에 대해 의도적인 설계가 반드시 필요하다는 가정을 도전한다.
• 집단 크기를 10에서 500으로 늘임에 따라 모든 지표에서 안정적이고는 있지만 느린 개선이 이루어졌으며, 이는 더 큰 집단이 내구성을 향상시킨다는 것을 시사한다.