[논문 리뷰] Human-Centered AI for Data Science: A Systematic Approach

Dakuo Wang, Xiaojuan Ma외 1명|arXiv (Cornell University)|2021. 10. 03.

Ethics and Social Impacts of AI참고 문헌 15인용 수 5

한 줄 요약

이 논문은 데이터 과학에서 인간 중심 인공지능(HCAI) 시스템을 개발하기 위한 체계적인 3단계 접근법—탐색, 구축, 통합—을 제안한다. 이는 인간의 필요, 협업, 제어를 강조한다. 하이브리드 규칙-AI 시스템, 인간이 포함된 루프 설계, 인간의 필요 조건을 갖춘 AI, 신경기호 모델링의 네 가지 실용적 HCAI 구현 전략을 도입하여, AI가 데이터 과학 워크플로우에서 인간 전문성을 대체하기보다는 보완해야 한다는 점을 입증한다.

ABSTRACT

Human-Centered AI (HCAI) refers to the research effort that aims to design and implement AI techniques to support various human tasks, while taking human needs into consideration and preserving human control. In this short position paper, we illustrate how we approach HCAI using a series of research projects around Data Science (DS) works as a case study. The AI techniques built for supporting DS works are collectively referred to as AutoML systems, and their goals are to automate some parts of the DS workflow. We illustrate a three-step systematical research approach(i.e., explore, build, and integrate) and four practical ways of implementation for HCAI systems. We argue that our work is a cornerstone towards the ultimate future of Human-AI Collaboration for DS and beyond, where AI and humans can take complementary and indispensable roles to achieve a better outcome and experience.

연구 동기 및 목표

• 데이터 과학에서 AI 연구와 실제 인간의 사용성 사이의 격차를 해소하기 위해 인간 워크플로우와 필요를 중심에 두기 위해.
• 전체 과정을 자동화하지 않고도 데이터 과학 라이프사이클 내 특정이고 잘 정의된 작업을 지원하는 AI 시스템을 개발하기 위해.
• 다학제 팀의 역할, 인간 전문성, 그리고 데이터 과학 작업의 대부분을 차지하는 모델링 외부 작업을 존중하는 AI 시스템을 확보하기 위해.
• 인간이 포함된 루프 메커니즘을 통합하고 인간 지식을 제약 조건으로 통합함으로써 인간의 제어와 신뢰를 유지하기 위해.
• 데이터 과학 및 그 이상 분야에서 지속 가능하고 협업 기반의 인간-AI 파트너십의 비전을 발전시키기 위해.

제안 방법

• 실제 데이터 과학 워크플로우, 이해관계자 역할, 다양한 역할에 따른 작업 분배를 탐색하기 위해 사용자 연구를 수행한다.
• 코드 문서화와 같은 작업에서 AI가 실패할 경우 인간 입력으로 전환되는 방식으로 규칙 기반 논리와 AI를 결합한 하이브리드 시스템을 설계한다.
• 특징 공학 작업을 위해 인간이 포함된 루프 아키텍처를 구현하여 AI와 커뮤니티 워커를 병렬로 활용함으로써 신뢰성을 향상시킨다.
• 형태학적 제약 조건(예: 공정성, 추론 속도)을 흑박 상자 최적화에 통합하기 위해 페널티 함수를 통해 목표 함수에 통합한다.
• 신경기호 모델을 개발하여 기호 템플릿(예: 슬라이드 구조)과 신경 시퀀스-투-시퀀스 모델을 결합함으로써 이해 가능하고 맥락 인식 기반의 프레젠테이션 생성을 가능하게 한다.
• 실제 워크플로우에 HCAI 시스템을 통합하고 사용자 연구 및 실제 제품 배포를 통해 평가한다.

실험 결과

연구 질문

• RQ1 AI 시스템은 데이터 과학 라이프사이클 내 자동화되지 않는 특정 작업을 지원하면서도 인간의 제어를 유지할 수 있도록 어떻게 설계할 수 있는가?
• RQ2 다양한 사용자 역할, 다학제 협업, 인간 지식 집약적 작업을 고려한 HCAI 시스템의 핵심 설계 원칙은 무엇인가?
• RQ3 공정성 및 지연 시간과 같은 제약 조건을 통해 인간 전문성을 AI 최적화 과정(예: 모델 선택)에 어떻게 통합할 수 있는가?
• RQ4 하이브리드 및 신경기호 아키텍처는 AI 보조 데이터 과학 도구의 신뢰성과 해석 가능성에 어떻게 기여하는가?
• RQ5 HCAI 시스템은 데이터 과학 팀에서 사용자 신뢰, 직무 안정성 인식, 실제 도입에 어떤 영향을 미치는가?

주요 결과

• 탐색, 구축, 통합의 3단계 체계적 접근법이 실제 인간 워크플로우와 사용자 필요에 기반한 HCAI 개발에 효과적임을 입증한다.
• 인간이 포함된 루프와 하이브리드 규칙-AI 시스템은 AI가 단독으로 실패하는 코드 문서화 및 특징 공학과 같은 작업에서 신뢰성을 크게 향상시킨다.
• 페널티 함수를 통해 공정성, 추론 속도 등의 비즈니스 및 윤리적 제약 조건을 AutoML 최적화에 통합함으로써 AI가 실제 요구 사항을 충족시킬 수 있다.
• 기호 템플릿과 신경 생성을 조합한 신경기호 시스템은 Jupyter 노트북에서 더 이해 가능하고 맥락에 맞는 프레젠테이션 슬라이드를 생성한다.
• 사용자 평가 및 실제 제품 배포(수천 명이 사용하는 제품에서의 사례 포함)를 통해 데이터 과학자들이 일자리가 대체될 것을 걱정하지 않으면서도 AI 보조 기능을 가치 있게 여김을 확인한다.
• 실제 워크플로우에 HCAI 시스템을 통합함으로써 인간 감시와 제어를 유지할 경우, 더 높은 신뢰도와 지속 가능한 도입이 이루어진다.