[논문 리뷰] Mapping the Challenges of HCI: An Application and Evaluation of ChatGPT for Mining Insights at Scale

Jonas Oppenlaender, Joonas Hämäläinen|arXiv (Cornell University)|2023. 06. 08.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 2023년 CHI 컨퍼런스 논문들을 대상으로 ChatGPT(GPT-3.5)와 GPT-4를 활용한 이단계 LLM 기반 접근법을 제안한다. 이 방법은 비용 효율적인 초기 추출을 위해 ChatGPT를 사용하고, 정밀도가 높은 필터링을 위해 GPT-4를 활용함으로써, 113개의 HCI 주제에 걸쳐 총 4,392개의 연구 과제를 성공적으로 추출하였다. 이는 LLM이 대규모 학술 자료에 대해 비용 효율적이고 신뢰할 수 있는 통찰력 기반 정성적 분석을 가능하게 함을 보여준다.

ABSTRACT

Large language models (LLMs) are increasingly used for analytical tasks, yet their effectiveness in real-world applications remains underexamined, partly due to the opacity of proprietary models. We evaluate ChatGPT (GPT-3.5 and GPT-4) on the practical task of extracting research challenges from a large scholarly corpus in Human-Computer Interaction (HCI). Using a two-step approach, we first apply GPT-3.5 to extract candidate challenges from the 879 papers in the 2023 ACM CHI Conference proceedings, then use GPT-4 to select the most relevant challenges per paper. This process yielded 4,392 research challenges across 113 topics, which we organized through topic modeling and present in an interactive visualization. We compare the identified challenges with previously established HCI grand challenges and the United Nations Sustainable Development Goals, finding both strong alignment in areas such as ethics and accessibility, and gaps in areas such as human-AI collaboration. A task-specific evaluation with human raters confirmed near-perfect agreement that the extracted statements represent plausible research challenges (\k{appa} = 0.97). The two-step approach proved cost-effective at approximately US$50 for the full corpus, suggesting that LLMs offer a practical means for qualitative text analysis at scale, particularly for prototyping research ideas and examining corpora from multiple analytical perspectives.

연구 동기 및 목표

• 인간-컴퓨터 상호작용(HCI) 분야의 다양하고 급속도로 성장하는 분야에서 현재의 연구 과제를 식별하는 데 도전하는 데 목적을 두며.
• 실제 데이터를 사용하여 사전에 알려지지 않은 데이터에 대해, 닫힌 소스 LLM인 ChatGPT와 GPT-4의 성능을 평가하는 데 목적을 두며.
• 비용 효율적인 LLM인 ChatGPT와 더 높은 정확도를 가진 모델인 GPT-4를 조합함으로써 대규모 학술 텍스트 코퍼스에 대한 확장성 있고, 민첩하며, 신뢰할 수 있는 정성적 분석이 가능하다는 것을 입증하는 데 목적을 두며.
• 학술 연구 및 산업 응용에 대한 영향을 고려하여, 대규모로 학술 문헌에서 통찰력을 추출하기 위한 실용적이고 재현 가능한 프레임워크를 제공하는 데 목적을 두며.

제안 방법

• 이중 단계 프ompt링 파이프라인: 먼저, ChatGPT(GPT-3.5)가 879편의 CHI 2023 논문 각각에서 구조화된 프롬프트를 사용해 후보 연구 과제를 추출한다.
• 다음으로, GPT-4가 후보 과제 목록을 필터링하여 각 논문당 가장 중요한 다섯 가지 과제만 유지함으로써 정밀도와 품질을 향상시킨다.
• 추출된 과제들은 BERTopic을 사용해 주제 모델링하고, UMAP를 사용해 차원 감소 및 2차원 상호작용 가능한 지ap으로 시각화한다.
• 일관성과 신뢰성을 향상시키기 위해 프롬프트 엔지니어링을 반복적으로 개선하였으며, 프롬프트 설계에 대한 민감성이 출력 품질의 핵심 요소로 간주되었다.
• 최종적으로 확보된 4,392개 과제로 구성된 데이터셋은 정성적 평가를 통해 검증되었으며, 일부 샘플에서 유의미한 편향이 발견되지 않았다.
• 연구 과제의 상호작용 가능한 시각화 자료는 https://hci-research-challenges.github.io 에 게시되어 공개적으로 탐색 및 다운로드 가능하다.

실험 결과

연구 질문

• RQ1 ChatGPT와 GPT-4와 같은 대규모 언어 모델이 CHI 2023 논문집과 같은 대규모 실세계 학술 코퍼스에서 연구 과제를 효과적으로 식별할 수 있는가?
• RQ2 비용 효율적인 모델(ChatGPT)과 정확도가 높은 모델(GPT-4)의 조합이 학술 텍스트에서 통찰력 탐색의 확장성과 신뢰성에 어떻게 기여하는가?
• RQ3 LLM의 출력 결과가 프롬프트 설계에 얼마나 민감한가? 그리고 프롬프트 엔지니어링을 통해 이러한 작업의 일관성과 품질을 어떻게 향상시킬 수 있는가?
• RQ4 사전에 알려진 벤치마크나 레이블이 없는 데이터에 의존하지 않고도 LLM이 학술 문헌에서 의미 있는, 비트ivial한 통찰을 추출할 수 있는가?
• RQ5 학술 연구의 정성적 분석에서 LLM을 사용할 경우 실용적 의미는 무엇이며, 특히 비용 효율성과 유연성 측면에서 어떤 영향을 미치는가?

주요 결과

• 이중 단계 LLM 파이프라인은 113개의 서로 다른 주제(접근성에서 시각화까지)에 걸쳐 879편의 CHI 2023 논문들에서 총 4,392개의 연구 과제를 성공적으로 추출하였다.
• 초기 추출에 ChatGPT를 사용하고 필터링에 GPT-4를 활용한 전략은 높은 정밀도를 확보하면서도 비용 효율적인 방법으로 작용하여 대규모 코퍼스 처리가 가능했다.
• 최적의 프롬프트가 확립된 이후로는 강력한 일관성과 신뢰성이 입증되었으며, 출력 결과에 미미한 편차 외에는 큰 변화가 없었다.
• BERTopic과 UMAP를 활용한 연구 과제의 시각화는 상호작용 가능하고 주제가 주석이 달린 지도로 성공적으로 구현되었으며, https://hci-research-challenges.github.io 에서 접근 가능하다.
• 추출된 과제의 정성적 샘플에서 유의미한 편향이 발견되지 않아, 이 방법이 신뢰할 수 있고, 고정관념적이지 않은 출력을 생성할 수 있음을 시사한다.
• 본 연구는 LLM이 프롬프트 설계와 전략적 모델 조합을 통해 학계에서 대규모 정성적 분석을 수행하는 강력한 도구가 될 수 있음을 강조한다.