[논문 리뷰] When Humans and Machines Make Joint Decisions: A Non-Symmetric Bandit Model.

Sebastian Bordt, Ulrike von Luxburg|arXiv (Cornell University)|2020. 07. 09.

Reinforcement Learning in Robotics참고 문헌 7인용 수 4

한 줄 요약

이 논문은 의료 분야와 같이 의사가 기계 보조자와 협업하는 상황에서 인간-기계 결정보다 의사결정을 체계화하기 위해 비대칭 밴딧 모델을 제안한다. 탐색은 가정이 없이서는 근본적으로 어려운 것으로 나타났지만, 정책 공간 독립성 조건 하에서는 두 에이전트가 독립적으로 탐색할 수 있어 공동 학습에서의 조율 문제를 해결할 수 있다.

ABSTRACT

How can humans and machines learn to make joint decisions? This has become an important question in domains such as medicine, law and finance. We approach the question from a theoretical perspective and formalize our intuitions about human-machine decision making in a non-symmetric bandit model. In doing so, we follow the example of a doctor who is assisted by a computer program. We show that in our model, exploration is generally hard. In particular, unless one is willing to make assumptions about how human and machine interact, the machine cannot explore efficiently. We highlight one such assumption, policy space independence, which resolves the coordination problem and allows both players to explore independently. Our results shed light on the fundamental difficulties faced by the interaction of humans and machines. We also discuss practical implications for the design of algorithmic decision systems.

연구 동기 및 목표

• 의료, 법조, 금융과 같은 고위험 분야에서 인간과 기계 간 공동 의사결정의 역학을 체계화하기 위해.
• 인간-기계 협업에서 효율적 탐색을 방해하는 근본적인 이론적 장벽을 규명하기 위해.
• 상호작용 가정이 인간과 기계 에이전트 간 탐색 조율에 미치는 영향을 분석하기 위해.
• 두 에이전트가 조율 비용 없이 독립적으로 탐색할 수 있는 조건을 제안하기 위해.
• 효과적인 인간-기계 융합을 지원하는 알고리즘 기반 의사결정 시스템 설계에 통찰을 제공하기 위해.

제안 방법

• 인간과 기계가 역할과 정보 접근성에서 비대칭인 비대칭 다중 손잡이 밴딧 모델로 인간-기계 상호작용을 체계화하기 위해.
• 인간을 제한된 탐색 능력을 지닌 의사결정자로, 기계를 더 능숙할 수 있지만 제약을 가진 학습자로 모델링하기 위해.
• 두 에이전트의 탐색 전략을 분리하기 위한 구조적 가정으로 '정책 공간 독립성' 개념을 도입하기 위해.
• 정보 공유 및 상호작용 방식에 대한 다양한 가정 하에서 공동 학습 과정의 수렴성과 손실 특성 분석하기 위해.
• 대칭 대비 비대칭 설정과 조율 가정 유무에 따른 학습 효율성 비교를 이론적으로 분석하기 위해.
• 정책 공간 독립성이 없을 경우, 이질적인 의사결정 역할로 인한 조율 실패로 인해 기계가 효율적으로 탐색할 수 없다는 것을 입증하기 위해.

실험 결과

연구 질문

• RQ1 인간-기계 의사결정 시스템에서 효율적 탐색을 방해하는 근본적인 과제는 무엇인가?
• RQ2 인간과 기계의 의사결정 능력 간 비대칭성은 학습 효율성에 어떤 영향을 미치는가?
• RQ3 인간과 기계가 조율 비용 없이 독립적으로 탐색할 수 있는 조건은 무엇인가?
• RQ4 공동 탐색에서의 조율 문제를 해결하기 위해 필요한 구조적 가정은 무엇인가?
• RQ5 정책 공간 독립성은 비대칭 밴딧 설정에서 더 효과적인 공동 학습을 어떻게 가능하게 하는가?

주요 결과

• 상호작용 구조에 대한 특정 가정이 없이서는 인간-기계 시스템에서 탐색이 근본적으로 어렵다.
• 가정이 없을 경우, 비대칭 의사결정 역할로 인한 조율 문제로 인해 기계는 효율적으로 탐색할 수 없다.
• 정책 공간 독립성 가정은 조율 문제를 해결하여 두 에이전트가 독립적으로 탐색할 수 있도록 한다.
• 정책 공간 독립성 하에서는 인간과 기계가 탐색 중에 명시적 조율이 없이도 효율적 학습을 달성할 수 있다.
• 모델은 실제 알고리즘 기반 의사결정 시스템이 스케일러블 학습을 지원하기 위해 인간-기계 상호작용에 대한 구조적 가정이 필요하다는 점을 부각시킨다.
• 결과적으로 현재 인간-기계 시스템은 모델링되지 않은 조율 제약으로 인해 공동 학습 잠재력을 충분히 활용하지 못하는 경향이 있다.