[논문 리뷰] Supporting Serendipity: Opportunities and Challenges for Human-AI Collaboration in Qualitative Analysis

Jialun Aaron Jiang, Kandrea Wade외 2명|arXiv (Cornell University)|2021. 02. 07.

Data Visualization and Analytics참고 문헌 42인용 수 29

한 줄 요약

이 논문은 질적 연구자들이 귀납 분석에서 AI 협업을 어떻게 인식하고 활용할 수 있는지 탐구하며, 우연성, 인간의 주체성, 모호성에 중점을 둡니다.

ABSTRACT

Qualitative inductive methods are widely used in CSCW and HCI research for their ability to generatively discover deep and contextualized insights, but these inherently manual and human-resource-intensive processes are often infeasible for analyzing large corpora. Researchers have been increasingly interested in ways to apply qualitative methods to "big" data problems, hoping to achieve more generalizable results from larger amounts of data while preserving the depth and richness of qualitative methods. In this paper, we describe a study of qualitative researchers' work practices and their challenges, with an eye towards whether this is an appropriate domain for human-AI collaboration and what successful collaborations might entail. Our findings characterize participants' diverse methodological practices and nuanced collaboration dynamics, and identify areas where they might benefit from AI-based tools. While participants highlight the messiness and uncertainty of qualitative inductive analysis, they still want full agency over the process and believe that AI should not interfere. Our study provides a deep investigation of task delegability in human-AI collaboration in the context of qualitative analysis, and offers directions for the design of AI assistance that honor serendipity, human agency, and ambiguity.

연구 동기 및 목표

• 질적 연구자들의 작업 관행과 질적 분석의 도전에 대해 이해한다.
• AI가 연구자의 주체성을 해치지 않으면서 질적 분석을 적절하게 보강할 수 있는지 평가한다.
• 질적 작업에서 불확실성과 우연성을 존중하는 바람직한 AI 능력과 경계를 식별한다.
• 질적 연구 맥락에서 협업 역학과 합의 형성이 어떻게 작동하는지 탐구한다.

제안 방법

• 정보 과학, 인류학, HCI, 언어학, 저널리즘 분야의 질적 연구자 17명을 반구조화 면담하였다.
• 인터뷰 전사에 대한 주제 분석을 수행하여 관행, 협업 역학, AI 보강 필요를 식별하였다.
• 오픈 코딩, 반복 코딩 라운드, 메모를 사용하여 다섯 가지 포괄적 주제를 도출하였다.
• 기존의 질적 도구와 그 한계를 비교하며 직관적이고 횡단적이며 사용자 정의 가능한 기능의 필요성을 강조하였다.
• 분석을 작업 위임 가능성과 질적 탐구에서 AI가 (하지 말아야 할) 역할의 관점에서 프레이밍했다.

실험 결과

연구 질문

• RQ1 다양한 학문 분야에서 질적 분석에 사용되는 전형적 관행과 도구는 무엇인가?
• RQ2 질적 연구자들이 원하는 AI 지원 능력의 유형은 무엇이며 AI가 분석에 개입해서는 안 되는 영역은 어디인가?
• RQ3 협업 역학이 합의와 신뢰성에 어떤 영향을 미치며, 어떤 AI 지원이 이를 도울 수 있는가?
• RQ4 AI가 귀납적 질적 분석에서 불확실성과 우연성을 어떻게 존중해야 하는가?

주요 결과

• 질적 연구자들은 서로 다른 방법에 대해 종종 일관되지 않은 어휘를 사용하여 의사소통과 도구 설계에 장애가 될 수 있다.
• 대형 데이터를 다루기에는 기존의 질적 분석 도구가 미흡하고, 학제 간 저진입 장벽이 낮지 않다고 느껴진다.
• 연구자들은 직관적 시각화, 횡단적 분석, 현장별 지원과 같이 복잡한 소프트웨어 학습을 강요하지 않는 AI를 원한다.
• 참여자들은 데이터 누락 식별이나 관련 인용 제안 등의 건설적 제안과 추론을 제공하는 AI를 상상하지만 연구자 통제와 의심의 생산적 요소를 보존해야 한다고 본다.
• 협업은 질적 연구에서 일반적이며 합의 형성은 단순한 데이터 논의 이상으로 미묘하다. AI가 인간의 판단을 대체하기보다 보강하는 방식이 필요하다는 의문이 제기된다.
• AI는 인간 분석을 보강하고 주체성, 투명성, 의심의 가능성을 유지해야 한다고 보이며, 연구는 AI가 결정론적 자동화가 아니라 우연성을 지원하는 방향으로 작동하기를 주장한다.