[논문 리뷰] Ask Not What AI Can Do, But What AI Should Do: Towards a Framework of Task Delegability

Brian Lubars, Chenhao Tan|arXiv (Cornell University)|2019. 02. 08.

Human-Automation Interaction and Safety참고 문헌 41인용 수 29

한 줄 요약

이 논문은 인간 중심의 프레임워크를 제안하여 AI에 임무를 위임할 때의 가능성을 분석하며, 동기, 어려움, 위험, 신뢰도가 인간의 선호도에 영향을 미치는 핵심 요소임을 규명한다. 100개의 다양한 임무에 대한 설문 조사 결과, 완전 자동화보다 인간이 개입하는 방식(마이너스 인 더 루프)을 더 선호하는 경향을 보였으며, 특히 신뢰도가 가장 높은 상관관계를 보였다. 그러나 해석 가능성은 위임 선호도와 약한 상관관계를 보였다.

ABSTRACT

While artificial intelligence (AI) holds promise for addressing societal challenges, issues of exactly which tasks to automate and to what extent to do so remain understudied. We approach this problem of task delegability from a human-centered perspective by developing a framework on human perception of task delegation to AI. We consider four high-level factors that can contribute to a delegation decision: motivation, difficulty, risk, and trust. To obtain an empirical understanding of human preferences in different tasks, we build a dataset of 100 tasks from academic papers, popular media portrayal of AI, and everyday life, and administer a survey based on our proposed framework. We find little preference for full AI control and a strong preference for machine-in-the-loop designs, in which humans play the leading role. Among the four factors, trust is the most correlated with human preferences of optimal human-machine delegation. This framework represents a first step towards characterizing human preferences of AI automation across tasks. We hope this work encourages future efforts towards understanding such individual attitudes; our goal is to inform the public and the AI research community rather than dictating any direction in technology development.

연구 동기 및 목표

• 인간이 AI에 어떤 임무를 위임하는 것을 선호하는지, 능력 수준을 넘어서 인간 중심의 선호도를 이해하기 위해.
• 특히 신뢰도, 동기, 위험, 어려움 등 인간의 자동화 결정에 영향을 미치는 핵심 요소를 규명하기 위해.
• 다양한 임무를 대상으로 한 실증적 설문 조사 데이터를 활용해 위임 가능성 프레임워크를 개발하고 검증하기 위해.
• 기술적 방향을 규정하는 대신 인간의 태도를 기반으로 AI 개발을 이끌기 위해.
• AI 능력과 사회적 수용성 사이의 격차를 인간의 인식에 기반한 자동화 결정으로 메워내기 위해.

제안 방법

• 기능 할당 및 신뢰도 문헌을 바탕으로 동기, 어려움, 위험, 신뢰도의 네 요소로 구성된 프레임워크를 개발함.
• 학술 연구, 미디어 표현, 일상 생활에서 유래한 100개의 임무로 구성된 데이터셋을 구축함.
• 아마존 메카니컬 터크를 통해 인간이 네 요소를 평가하고 위임 수준을 선호하는지를 평가하는 설문 조사를 실시함.
• 위임 선호도를 인간 전용, 인간-AI 협업(두 가지 유형), AI 전용의 다섯 단계로 분류함.
• 네 요소와 위임 선호도 간의 관계를 분석하기 위해 상관관계 분석을 수행함.
• 데이터 품질 확보 및 설문 응답의 편향을 줄이기 위해 주의 검사와 필터링을 적용함.

실험 결과

연구 질문

• RQ1 어떤 인간 중심의 요소가 AI에 임무를 위임하는 데 가장 큰 영향을 미치는가?
• RQ2 동기, 어려움, 위험, 신뢰도는 인간의 AI 자동화 선호도와 어떻게 상관관계가 있는가?
• RQ3 사람들은 완전한 AI 제어보다 인간-AI 협업 설계를 어느 정도 선호하는가?
• RQ4 해석 가능성은 위임 선호도와 어떻게 관련되어 있는가?
• RQ5 표준화된 프레임워크는 인간이 자동화를 인식하는 데 있어 다양한 임무에 일반화될 수 있는가?

주요 결과

• 참가자들은 완전한 AI 제어를 거의 선호하지 않았으며, 대부분 인간이 주도하는 마이너스 인 더 루프 설계를 선호함.
• 신뢰도가 위임 선호도와 가장 강한 상관관계를 보였으며, 상관계수는 0.59였음.
• 해석 가능성은 위임 선호도와 약한 상관관계를 보였으며, 이는 해석 가능성 자체가 자동화 선호도를 이끄는 데는 충분하지 않음을 시사함.
• 암 진단이나 보육과 같은 고위험 임무에 대해서도 사람들은 인간-AI 협업 지원을 여전히 열려 있는 태도로 수용함.
• 프레임워크는 중간 정도의 예측 능력을 보였으며, 특히 신뢰도와 위임 선호도 간 상관계수는 0.59로 가장 높음.
• 선호도는 다이나믹하고 맥락에 따라 달라지며, 문화적 요소나 상황적 요소가 응답에 영향을 줄 수 있으나, 설문 조사에서는 완전히 반영되지 않음.