[논문 리뷰] A Mental-Model Centric Landscape of Human-AI Symbiosis

Zahra Zahedi, Sarath Sreedharan외 1명|arXiv (Cornell University)|2022. 02. 18.

Cognitive Science and Mapping인용 수 16

한 줄 요약

이 논문은 인간-지능형 시스템 상호작용의 통합적 이해를 가능하게 하는 일반화된 인간 인지 기반 상호작용(GHAI) 프레임워크를 제안한다. 이 프레임워크는 지식 기반, 자기 모델, 상호 신뢰 모델을 포함한 여섯 가지의 독립된 정신 모델을 모델링하여 인간-AI 공생의 통합적 이해를 가능하게 한다. 모델 커뮤니케이션 또는 모델 따르기 행동으로 인간-AI 상호작용을 분류함으로써, GHAI는 다양한 연구 분야에서의 구조적 패턴을 드러내고 종단적 상호작용, 신뢰 모델링, 계산적 이성성 분야의 핵심 격차를 특정한다.

ABSTRACT

There has been significant recent interest in developing AI agents capable of effectively interacting and teaming with humans. While each of these works try to tackle a problem quite central to the problem of human-AI interaction, they tend to rely on myopic formulations that obscure the possible inter-relatedness and complementarity of many of these works. The human-aware AI framework was a recent effort to provide a unified account for human-AI interaction by casting them in terms of their relationship to various mental models. Unfortunately, the current accounts of human-aware AI are insufficient to explain the landscape of the work doing in the space of human-AI interaction due to their focus on limited settings. In this paper, we aim to correct this shortcoming by introducing a significantly general version of human-aware AI interaction scheme, called generalized human-aware interaction (GHAI), that talks about (mental) models of six types. Through this paper, we will see how this new framework allows us to capture the various works done in the space of human-AI interaction and identify the fundamental behavioral patterns supported by these works. We will also use this framework to identify potential gaps in the current literature and suggest future research directions to address these shortcomings.

연구 동기 및 목표

• 수동 관찰을 초월한 다양한 상호작용 유형을 포괄하지 못하는 통합적 프레임워크의 부족을 해결하기 위해.
• 지식 기반과 상호 신뢰 표현을 포함한 여섯 가지의 독립된 정신 모델을 도입함으로써 인간 인지 기반 AI 프레임워크를 확장하기 위해.
• 다양한 인간-AI 상호작용 연구에서 공통적으로 나타나는 기본 행동 패턴인 모델 커뮤니케이션과 모델 따르기 패턴을 규명하기 위해.
• 인간-AI 팀에서 종단적 상호작용, 신뢰 동역학성, 계산적 이성성 분야의 핵심 연구 격차를 드러내기 위해.
• 현재 문헌을 GHAI 프레임워크에 매핑하고 더 적응성 있고 신뢰를 고려한, 지속 가능한 협업을 위한 방향을 제안함으로써 향후 연구를 이끌기 위해.

제안 방법

• 지식 기반($\mathcal{M}^{*}$), 자기 모델($\mathcal{M}^{H}$, $\mathcal{M}^{R}$), 상호 신뢰 모델($\mathcal{M}^{H}_{r}$, $\mathcal{M}^{R}_{h}$)을 포함한 여섯 가지의 독립된 정신 모델을 갖춘 일반화된 인간 인지 기반 상호작용(GHAI) 프레임워크를 제안한다.
• 신뢰 업데이트 기반으로 모델 커뮤니케이션(예: 설명, 지도) 또는 모델 따르기(예: 준수, 일치)로 상호작용을 모델링한다.
• 개별 신뢰와 무관하게 진정한 공동 작업 사양을 표현하는 작업 모델 $\mathcal{M}^{*}$ 를 도입한다.
• 에이전트가 서로의 작업 모델에 대한 인식을 교정할 수 있도록 동적 신뢰 업데이트를 가능하게 한다.
• 인간-지능형 시스템 기반 머신러닝, 인간-로봇 상호작용, 인간-AI 공생, 해석 가능한 AI 분야의 연구를 분석하기 위해 프레임워크를 적용한다.
• 신뢰를 모델 업데이트 결정의 조절 요소로 통합하여 인간이 AI를 신뢰하는 것과 AI가 인간의 입력을 신뢰하는 것을 구분한다.

실험 결과

연구 질문

• RQ1 수동 관찰을 초월한 인간-AI 상호작용의 다양한 형태를 통합적 프레임워크가 어떻게 포괄할 수 있는가?
• RQ2 인간-AI 상호작용의 근본적인 행동 패턴인 모델 커뮤니케이션과 모델 따르기 패턴은 무엇인가?
• RQ3 기존 연구는 다중 작업 환경에서의 종단적, 반복적 협업을 어떻게 지원하지 못하는가?
• RQ4 신뢰는 인간-AI 팀에서의 모델 업데이트 결정과 준수에 어떤 영향을 미치는가?
• RQ5 지식과 추론 능력이 인간과 AI 에이전트 간에 다를 경우, 계산적 이성성은 어떤 역할을 하는가?

주요 결과

• GHAI 프레임워크는 CHI, HRI, ICAPS, IJCAI, ICML, HCOMP 등의 논문들에서 다루는 다양한 인간-AI 상호작용 연구를 성공적으로 매핑하고 통합한다.
• 모델 커뮤니케이션과 모델 따르기 패턴은 GHAI 프레임워크의 여섯 가지 정신 모델에 의해 가능해지는 두 핵심 행동 패턴으로 부각된다.
• 기존 문헌은 과거 협업 결과가 향후 공동 행동에 영향을 미치는 종단적 상호작용을 지원하지 못하는 것으로 드러났다.
• 신뢰는 핵심적이지만 여전히 부족하게 모델링된 요소이다: 낮은 신뢰는 AI 행동의 오해로 이어지고, 높은 신뢰는 과도한 의존성과 오류로 이어질 수 있다.
• 공유 지식이 있더라도 계산 능력의 격차는 서로 다른 결정을 초래할 수 있으며, 이는 인간의 추론을 대체하는 프록시 모델의 필요성을 강조한다.
• 기존 연구는 특히 복잡한 다중 작업 환경에서 지속적인 협업을 지원하는 양방향 신뢰 업데이트를 모델링하는 데 한계를 보인다.