[논문 리뷰] Ironies of Generative AI: Understanding and mitigating productivity loss in human-AI interactions

Auste Simkute, Lev Tankelevitch외 4명|arXiv (Cornell University)|2024. 02. 17.

Ethics and Social Impacts of AI인용 수 7

한 줄 요약

이 논문은 GenAI 사용에서 생산-평가 전환, 비도움적인 워크플로 재구성, 중단, 작업-복잡성 양극화라는 네 가지 생산성 손실 요인을 인간공학(Human Factors) 연구와 GenAI 연구에 기초하여 합성하고, 이를 완화하기 위한 설계 방향을 제안한다.

ABSTRACT

Generative AI (GenAI) systems offer opportunities to increase user productivity in many tasks, such as programming and writing. However, while they boost productivity in some studies, many others show that users are working ineffectively with GenAI systems and losing productivity. Despite the apparent novelty of these usability challenges, these 'ironies of automation' have been observed for over three decades in Human Factors research on the introduction of automation in domains such as aviation, automated driving, and intelligence. We draw on this extensive research alongside recent GenAI user studies to outline four key reasons for productivity loss with GenAI systems: a shift in users' roles from production to evaluation, unhelpful restructuring of workflows, interruptions, and a tendency for automation to make easy tasks easier and hard tasks harder. We then suggest how Human Factors research can also inform GenAI system design to mitigate productivity loss by using approaches such as continuous feedback, system personalization, ecological interface design, task stabilization, and clear task allocation. Thus, we ground developments in GenAI system usability in decades of Human Factors research, ensuring that the design of human-AI interactions in this rapidly moving field learns from history instead of repeating it.

연구 동기 및 목표

• GenAI 시스템에서 생산성 손실의 네 가지 광범위한 범주 식별(생산-평가 전환, 비도움이 되는 워크플로 재구성, 중단, 작업-복잡성 양극화).
• 자동화에 대한 수십 년 간의 Human Factors 연구에 이 도전들을 기반으로 하고 이를 도메인 전반의 GenAI 연구와 연계한다.
• Human Factors (continuous feedback, personalization, ecological interface design, task stabilization, clear task allocation)에 의해 제시된 설계 방향 제안.
• GenAI 사용에서 상황 인식 및 인지적 작업 부하에 대한 추가 연구의 필요성을 강조한다.

제안 방법

• 자동화에 관한 Human Factors 문헌의 통찰을 다양한 도메인에서의 최근 GenAI 사용자 연구(코딩, 작문, 디자인, 의료)와 결합하여 합성한다.
• 관찰된 GenAI 사용성 문제를 네 가지 생산성 손실 범주에 매핑한다.
• 확립된 HF 원칙들(피드백, 유연성)에서 설계 시사점을 도출하여 GenAI 시스템 설계를 안내한다.

실험 결과

연구 질문

• RQ1 GenAI-인간 상호작용에서 관찰된 주요 생산성 손실 메커니즘은 무엇인가?
• RQ2 이러한 메커니즘은 HF 연구의 전통적 ‘자동화의 아이러니’와 어떻게 관련되는가?
• RQ3 HF에서 영감을 받은 어떤 설계 방향이 GenAI 시스템의 생산성 손실을 완화할 수 있는가?
• RQ4 이러한 도전 과제들이 프로그래밍을 넘어서 어떤 도메인(예: 작문, 디자인, 의료)에서 나타나는가?

주요 결과

• 네 가지 핵심 생산성 손실 범주가 확인되었다: 생산-평가 전환, 비도움이 되는 워크플로 재구성, 작업 중단, 그리고 작업-복잡성 양극화.
• GenAI의 높은 출력 능력과 불투명성은 상황 인식 저하와 모니터링 작업 부하 증가에 기여한다.
• 프롬프트와 출력 적응은 작업 시퀀스를 방해하고 인지적 부하를 증가시킬 수 있는 새로운 작업을 도입한다.
• 자동화는 타성화와 과다 의존으로 이어져 강건성을 감소시키고 오류 위험을 증가시킨다.
• HF에서 영감을 받은 설계 방향에는 지속적 피드백, 시스템 개인화, 생태계적 인터페이스 설계, 작업 안정화, 명확한 작업 할당이 포함된다.
• 이 논문은 HF 연구의 수십 년에 걸친 지식을 활용하여 도메인 전반에서 GenAI 사용성 및 생산성을 향상시킬 것을 주장한다.