[논문 리뷰] Towards Deployment of Robust AI Agents for Human-Machine Partnerships

Ahana Ghosh, Sebastian Tschiatschek외 2명|arXiv (Cornell University)|2019. 10. 05.

Reinforcement Learning in Robotics참고 문헌 33인용 수 8

한 줄 요약

이 논문은 인간-기계 협력 환경에서 알 수 없는 인간 사용자 유형에 적응할 수 있는 강건한 AI 에이전트를 설계하기 위한 프레임워크를 제안한다. 매개변수화된 MDP 모델을 사용하여 관찰된 행동으로부터 사용자 유형 θ를 추론하고, AdaptPool(사전 계산된 정책)와 AdaptDQN(신경망 기반 추론)을 통해 정책을 동적으로 조정함으로써 이론적으로 강건한 성능을 달성하고, 비적응형 기준보다 협업 과제에서 뛰어난 성능을 보인다.

ABSTRACT

We study the problem of designing AI agents that can robustly cooperate with people in human-machine partnerships. Our work is inspired by real-life scenarios in which an AI agent, e.g., a virtual assistant, has to cooperate with new users after its deployment. We model this problem via a parametric MDP framework where the parameters correspond to a user's type and characterize her behavior. In the test phase, the AI agent has to interact with a user of unknown type. Our approach to designing a robust AI agent relies on observing the user's actions to make inferences about the user's type and adapting its policy to facilitate efficient cooperation. We show that without being adaptive, an AI agent can end up performing arbitrarily bad in the test phase. We develop two algorithms for computing policies that automatically adapt to the user in the test phase. We demonstrate the effectiveness of our approach in solving a two-agent collaborative task.

연구 동기 및 목표

• 배포 후 새로운 알 수 없는 인간 사용자와 효과적으로 협업할 수 있도록 AI 에이전트를 구현하는 데 도전한다.
• 사용자 유형 θ가 선호도와 행동 패턴을 포괄하는 매개변수화된 MDP 프레임워크를 통해 사용자 행동을 모델링한다.
• 테스트 시 명시적인 보상 신호가 제공되지 않는 조건에서 상호작용 도중 사용자 유형을 추론하고 정책을 조정하여 유틸리티를 최대화하는 AI 에이전트를 설계한다.
• 기존에 보지 못한 사용자 유형에 직면했을 때도 비적응형 에이전트가 보여주는 극단적으로 열 劣한 성능을 피하기 위해 강건한 성능을 확보한다.
• 딥 러닝 기반 방법을 통해 확장 가능한 구현을 가능하게 하면서도 정책의 강건성에 대한 이론적 보장을 제공한다.

제안 방법

• 사용자 행동 유형 θ를 나타내는 매개변수화된 MDP M(θ)로 인간-AI 협업 문제를 수립한다.
• 인간 사용자의 관찰된 행동을 바탕으로 베이지안 또는 가능도 기반 추론을 통해 시간이 지남에 따라 유형 θ를 추론하고 신뢰도를 갱신한다.
• AdaptPool을 개발하여 후보 사용자 유형에 대한 최적 반응 정책 라이브러리를 사전에 계산하고, 추론된 유형에 가장 적합한 정책을 선택한다.
• AdaptDQN을 설계하여 정책과 추론 모듈을 동시에 학습하는 딥 강화학습 아키텍처를 개발하여 사용자 유형을 예측하고 행동을 적응적으로 조정한다.
• 인간의 정책 πθx에서 유도된 전이 동역학 Tθ와 보상 함수 Rθ를 활용하여 AI 에이전트가 인지하는 환경를 모델링한다.
• θ에 대한 불확실성 하에서도 높은 기대 수익을 유지할 수 있도록 정책을 설계함으로써 강건성을 확보하고, 성능 경계에 대한 이론적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 배포 후 알 수 없는 행동 유형의 새로운 인간 사용자와 상호작용할 때 AI 에이전트는 어떻게 높은 유틸리티를 유지할 수 있는가?
• RQ2 AI 에이전트는 관찰된 행동을 통해 어떤 메커니즘으로 인간 사용자의 유형을 추론하고 이를 바탕으로 정책을 적응적으로 조정할 수 있는가?
• RQ3 알 수 없는 사용자 유형에 직면했을 때 비적응형 AI 에이전트는 인간-기계 협업에서 강건한 성능을 달성할 수 있는가?
• RQ4 사용자 유형 불확실성이 존재할 경우 적응형 정책에 대해 어떤 이론적 보장이 가능할 수 있는가?
• RQ5 딥 러닝을 활용하여 큰 또는 복잡한 환경로 확장 가능한 적응형 정책을 어떻게 설계할 수 있는가? 이때 강건성은 유지되어야 한다.

주요 결과

• 비적응형 AI 에이전트는 알 수 없는 사용자 유형에 직면했을 때 테스트 단계에서 극단적으로 열 劣한 성능을 보일 수 있으며, 이는 적응의 필요성을 강조한다.
• 제안된 AdaptPool 알고리즘은 추론된 사용자 유형에 기반해 사전 계산된 라이브러리에서 가장 적합한 정책을 선택함으로써 강력한 이론적 강건성 보장을 달성한다.
• AdaptDQN은 신경망 기반 정책와 종단 간 추론 모듈을 결합하여 실용적인 적응을 효과적으로 수행하며, 복잡한 환경로의 확장성도 보장한다.
• 실험적 평가 결과, 제안된 정책들은 사용자 유형 불확실성 하에서 협업형 이중 에이전트 과제에서 비적응형 기준보다 뚜렷이 뛰어난 성능을 보였다.
• 프레임워크는 배포 시 보상 정보가 제공되지 않더라도 행동 관찰과 추론에만 기반하여 높은 유틸리티를 달성할 수 있도록 한다.
• 이론적 분석을 통해 적응형 정책가 진정한 사용자 유형이 테스트 시 알려지지 않은 상태에서도 최적에 가까운 성능을 유지함을 확인했다.