[논문 리뷰] Mapping the Design Space of Human-AI Interaction in Text Summarization

Ruijia Cheng, Alison Smith외 3명|arXiv (Cornell University)|2022. 06. 29.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 70篇의 논문을 분석하여 텍스트 요약 작업에서 인간-AI 상호작용의 설계 공간을 맵핑하고, 상호작용 유형 5종과 관련 설계 차원을 포함한 분류 체계를 수립한다. 16명의 참가자와 함께 프로토타입 제작 및 인터뷰를 수행한 결과, AI 보조 요약 작업에서 효율성, 통제력, 신뢰성에 대한 핵심 설계 고려사항을 규명하였으며, 텍스트 생성 작업에서 인간 중심의 AI 시스템 설계를 위한 실질적인 통찰을 제공한다.

ABSTRACT

Automatic text summarization systems commonly involve humans for preparing data or evaluating model performance, yet, there lacks a systematic understanding of humans' roles, experience, and needs when interacting with or being assisted by AI. From a human-centered perspective, we map the design opportunities and considerations for human-AI interaction in text summarization and broader text generation tasks. We first conducted a systematic literature review of 70 papers, developing a taxonomy of five interactions in AI-assisted text generation and relevant design dimensions. We designed text summarization prototypes for each interaction. We then interviewed 16 users, aided by the prototypes, to understand their expectations, experience, and needs regarding efficiency, control, and trust with AI in text summarization and propose design considerations accordingly.

연구 동기 및 목표

• 텍스트 요약 작업에서 AI와 상호작용하거나 AI의 보조를 받는 인간의 역할, 경험, 필요를 체계적으로 이해하기 위해.
• 텍스트 생성 작업에서 인간과 AI 간의 반복되는 상호작용 패턴을 식별하고 분류하기 위해.
• 요약 워크플로우에서 효과적인 인간-AI 협업을 지원하는 설계 차원을 개발하기 위해.
• AI 보조 요약 작업에서 효율성, 통제력, 신뢰성에 대한 사용자 기대, 경험, 필요를 평가하기 위해.
• 미래의 AI 시스템 개발을 위한 실질적인 설계 고려사항을 경험 기반 사용자 피드백에 기반하여 제안하기 위해.

제안 방법

• 텍스트 요약 및 텍스트 생성에서 인간-AI 상호작용에 관한 70편의 논문을 대상으로 체계적 문헌 리뷰를 수행하였다.
• AI 보조 텍스트 생성에서의 다섯 가지 구분된 상호작용 유형과 관련 설계 차원을 포함한 분류 체계를 수립하였다.
• 실제 사용 사례를 시뮬레이션하기 위해 각 상호작용 유형별로 상호작용 가능한 프로토타입을 설계 및 구현하였다.
• 16명의 사용자를 모집하여 프로토타입을 사용한 인터뷰를 수행하였으며, 요약 작업에서 AI와의 상호작용 경험에 중점을 두었다.
• 인터뷰 데이터를 분석하여 인간-AI 협업에서 효율성, 통제력, 신뢰성과 관련된 주제를 도출하였다.
• 발견된 결과를 종합하여 텍스트 요약 분야에서 인간 중심의 AI 시스템을 구축하기 위한 실질적인 설계 고려사항을 도출하였다.

실험 결과

연구 질문

• RQ1 텍스트 요약 작업에서 인간과 AI 간의 주요 상호작용 유형은 무엇인가?
• RQ2 텍스트 생성에서 효과적인 인간-AI 협업을 지원하는 데 가장 관련성이 높은 설계 차원은 무엇인가?
• RQ3 사용자들은 요약 워크플로우에서 AI와 상호작용할 때 효율성, 통제력, 신뢰성에 대해 어떻게 인식하는가?
• RQ4 AI 보조 요약 작업에서 사용자의 주요 기대와 애로사항은 무엇인가?
• RQ5 사용자 경험에서 유도된 설계 원칙은 향후 시스템 개발을 어떻게 이끌 수 있는가?

주요 결과

• 본 연구는 AI 보조 요약 작업에서 다섯 가지 명확히 구분되는 상호작용 유형을 규명하였다: 입력 준비, 모델 보완, 결과 선택, 피드백 제공, 결과 검증.
• 사용자들은 특히 요약 출력 편집 및 조정 기능을 통해 세밀한 통제력을 확보할 필요성을 강조하였다.
• AI 출력에 대한 신뢰는 모델의 추론 과정 투명성과 변경 사항 추적 기능의 유무에 의해 크게 영향을 받았다.
• 사용자가 관련 편집 사항을 신속하게 식별하고 적용할 수 있을 때 효율성이 가장 향상되었으며, 이는 지능적인 제안 인터페이스의 가치를 시사한다.
• 사용자들은 AI에 대한 과도한 의존에 우려를 표명하였으며, 이는 인간의 감시와 의사결정 권한 유지의 중요성을 강조한다.
• 편집 가능성, 추적 가능성, 피드백 메커니즘과 같은 설계 차원은 효과적인 협업을 위해 필수적이라고 일관되게 언급되었다.