[論文レビュー] Mapping the Challenges of HCI: An Application and Evaluation of ChatGPT for Mining Insights at Scale

Jonas Oppenlaender, Joonas Hämäläinen|arXiv (Cornell University)|Jun 8, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、ChatGPT（GPT-3.5）とGPT-4を用いた二段階のLLMベースの手法を提案し、2023年のCHI会議の論文集から研究的課題を自動で同定・フィルタリングする。コスト効率の高い初期抽出にChatGPTを活用し、高精度なフィルタリングにGPT-4を用いることで、113のHCI分野にまたがる4,392件の研究的課題を的確に抽出した。この結果、LLMは大規模な学術的コーパスに対して、強力なコスト効率と信頼性を備えたスケーラブルなインサイト駆動型定性的分析を可能にすることが示された。

ABSTRACT

Large language models (LLMs) are increasingly used for analytical tasks, yet their effectiveness in real-world applications remains underexamined, partly due to the opacity of proprietary models. We evaluate ChatGPT (GPT-3.5 and GPT-4) on the practical task of extracting research challenges from a large scholarly corpus in Human-Computer Interaction (HCI). Using a two-step approach, we first apply GPT-3.5 to extract candidate challenges from the 879 papers in the 2023 ACM CHI Conference proceedings, then use GPT-4 to select the most relevant challenges per paper. This process yielded 4,392 research challenges across 113 topics, which we organized through topic modeling and present in an interactive visualization. We compare the identified challenges with previously established HCI grand challenges and the United Nations Sustainable Development Goals, finding both strong alignment in areas such as ethics and accessibility, and gaps in areas such as human-AI collaboration. A task-specific evaluation with human raters confirmed near-perfect agreement that the extracted statements represent plausible research challenges (\k{appa} = 0.97). The two-step approach proved cost-effective at approximately US$50 for the full corpus, suggesting that LLMs offer a practical means for qualitative text analysis at scale, particularly for prototyping research ideas and examining corpora from multiple analytical perspectives.

研究の動機と目的

• 人間-コンピュータインタラクション（HCI）分野の多様で急速に拡大する分野において、現在の研究的課題を特定する課題に対処すること。
• ChatGPTとGPT-4という閉鎖型LLMが、未確認のデータを用いた知識集約的でインサイト抽出を目的としたタスクにおいて、実世界のパフォーマンスを評価すること。
• コスト効率の高いLLM（例：ChatGPT）と高精度なモデル（例：GPT-4）を組み合わせることで、大規模な学術的テキストコーパスに対するスケーラブルで柔軟かつ信頼性の高い定性的分析が可能になることを実証すること。
• 学術的文献から大規模にインサイトを抽出するための実用的で再現可能なフレームワークを提供すること。その応用は学術研究および産業応用の両方に影響を及える。

提案手法

• 二段階のプロンプトパイプライン：まず、ChatGPT（GPT-3.5）が879件のCHI 2023論文ごとに構造化されたプロンプトを用いて候補となる研究的課題を抽出する。
• 次に、GPT-4が候補課題のリストをフィルタリングし、各論文に対して最も重要な5つの課題のみを保持することで、より高い正確性と品質を確保する。
• 抽出された課題は、トピックモデリングにBERTopic、次元削減および2次元のインタラクティブな地図への可視化にUMAPを用いて処理された。
• 出力品質に大きな影響を与える要因として、プロンプト設計の重要性を認識し、一貫性と信頼性を向上させるために反復的にプロンプトの最適化が行われた。
• 最終的な4,392件の課題からなるデータセットは、定性的な評価を通じて検証され、出力のサンプルにおいて顕著なバイアスは検出されなかった。
• 研究的課題のインタラクティブな可視化は、https://hci-research-challenges.github.io に公開され、一般の利用者による探索とダウンロードが可能となった。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT や GPT-4 といった大規模言語モデルは、CHI 2023の論文集のような大規模で現実世界の学術的コーパスにおいて、研究的課題を効果的に同定できるか？
• RQ2 コスト効率の高いモデル（ChatGPT）と高精度モデル（GPT-4）の組み合わせは、学術的テキストからのインサイト抽出のスケーラビリティと信頼性をどのように向上させるか？
• RQ3 LLMの出力はどの程度プロンプト設計に敏感であり、どのようにプロンプト工学を活用することで一貫性と品質を向上させられるか？
• RQ4 事前に整備されたベンチマークやラベル付きデータに依存せずに、LLMを用いて学術的文献から意味のある、非自明なインサイトを抽出できるか？
• RQ5 学術研究における定性的分析の文脈でLLMを用いる場合、コスト効率と柔軟性の観点から、実用的意義は何か？

主な発見

• 二段階のLLMパイプラインにより、113の異なるトピック（アクセシビリティからビジュアライゼーションまで）にまたがる879件のCHI 2023論文から、合計4,392件の研究的課題が的確に抽出された。
• 初期抽出にChatGPT、フィルタリングにGPT-4を用いる戦略は、高い正確性を維持しながら大規模コーパスの処理を可能にするコスト効率の高い手法であった。
• 最適なプロンプトが確立された後、出力の整合性と信頼性が強く保たれ、出力にわずかなばらつきしか認められなかった。
• BERTopicとUMAPを用いた可視化により、インタラクティブでトピックラベルが付与された地図が作成され、https://hci-research-challenges.github.io で公開された。
• 抽出された課題の定性的なサンプルにおいて顕著なバイアスは検出されず、この手法が信頼できる、ステレオタイプでない出力を生成できることを示唆している。
• 本研究は、適切なプロンプト設計と戦略的なモデルの組み合わせを用いることで、LLMが学術分野における大規模定性的分析の強力なツールとなり得ることを強調している。