[논문 리뷰] A Survey on Human-AI Collaboration with Large Foundation Models

Vanshika Vats, Marzia Binta Nizam외 21명|arXiv (Cornell University)|2024. 03. 07.

Scientific Computing and Data Management인용 수 12

한 줄 요약

이 설문은 대형 사전학습 모델(LPtMs)이 사람-AI 팀업을 어떻게 보강하는지 다루며, 모델 개선, 공동 시스템, 안전 및 부문별 응용를 포괄한다. 방법, 도전과제 및 윤리적이고 효과적인 협업을 위한 미래 방향을 종합한다.

ABSTRACT

As the capabilities of artificial intelligence (AI) continue to expand rapidly, Human-AI (HAI) Collaboration, combining human intellect and AI systems, has become pivotal for advancing problem-solving and decision-making processes. The advent of Large Foundation Models (LFMs) has greatly expanded its potential, offering unprecedented capabilities by leveraging vast amounts of data to understand and predict complex patterns. At the same time, realizing this potential responsibly requires addressing persistent challenges related to safety, fairness, and control. This paper reviews the crucial integration of LFMs with HAI, highlighting both opportunities and risks. We structure our analysis around four areas: human-guided model development, collaborative design principles, ethical and governance frameworks, and applications in high-stakes domains. Our review shows that successful HAI systems are not the automatic result of stronger models but the product of careful, human-centered design. By identifying key open challenges, this survey aims to give insight into current and future research that turns the raw power of LFMs into partnerships that are reliable, trustworthy, and beneficial to society.

연구 동기 및 목표

• LPtMs가 부문 전반에 걸쳐 인간-AI(Human-AI, HAI) 협업을 어떻게 변화시키는지 평가한다.
• LPtM 학습 및 평가에 인간 입력을 통합하는 방법을 식별한다.
• LPtMs로 가능해진 HAI 시스템의 설계, 안전성 및 신뢰 문제를 검토한다.
• 의료, 교통, 교육 등에서 LPtM-활용 HAI의 적용을 나타낸다.

제안 방법

• 네 가지 초점 영역을 통해 LPtMs를 활용한 인간-AI 팀업에 관한 문헌을 조사한다: Model improvements, Effective HAI systems, Safe and Trustworthy AI, 및 Applications.
• 전통적인 HITL 접근법(Human in the Loop, Active Learning, RLHF, Human Evaluation)을 중심으로 연구 결과를 정리한다.
• LPtMs를 활용한 HAI의 UI/UX 및 시스템 설계 고려사항을 분류한다.
• LPtM-활용 HAI의 경향과 도전과제를 보여주기 위해 다양하게 인용된 연구를 참조한다.
• 저자와 AI 보조를 포함한 이중 인간-AI 초안 작성 프로세스를 사용하여 리뷰의 구조를 잡는다.

(a)

실험 결과

연구 질문

• RQ1 LPtMs가 인간-AI 팀업에서 모델 훈련, 평가, 배치를 어떻게 재구성하는가?
• RQ2 LPtM-활용 HAI 시스템에서의 주요 도전과제(신뢰, 안전, 편향, 프라이버시, 거버넌스)는 무엇이며 어떻게 완화할 수 있는가?
• RQ3 효과적이고 효율적이며 윤리적인 HAI 협업을 가장 잘 지지하는 UI/UX 및 시스템 아키텍처는 무엇인가?
• RQ4 LPtM-주도 HAI 팀업의 영향과 한계를 보여주는 부문별 응용 사례는 무엇인가?

주요 결과

• LPtMs는 HAI 팀에서 적응성, 개인화 및 대화 능력을 크게 향상시킨다.
• RLHF, InstructRL 및 관련 피드백 방법은 LPtMs를 인간의 선호에 맞추고 편향을 줄이는 데 핵심이지만, 확장성과 일관성에 여전히 도전이 남아 있다.
• 향상된 UI/UX, 인간 지시와 AI의 교차, 그리고 견고한 평가 프레임워크가 HAI 시스템의 신뢰성과 효과에 결정적이다.
• 응용 분야는 의료, 자율주행차, 교육, 게임, 접근성 및 감시를 포괄하며, 광범위한 사회적 함의와 배치 고려를 시사한다.
• 윤리적, 법적 및 정책 차원(프라이버시, 책임성, 노동 영향, 공정성)은 LPtM-활용 HAI의 책임 있는 도입에 필수적이다.

(b)