[論文レビュー] Using ChatGPT for Thematic Analysis

Aleksei Turobov, Diane Coyle+1 more|arXiv (Cornell University)|May 13, 2024

Topic Modeling被引用数 28

ひとこと要約

論文は、UN政策文書の主題分析における初期コード化に使用されるカスタムGPTモデルを示し、トピックモデリングで検証し、限界とリスク緩和について議論する。

ABSTRACT

The utilisation of AI-driven tools, notably ChatGPT, within academic research is increasingly debated from several perspectives including ease of implementation, and potential enhancements in research efficiency, as against ethical concerns and risks such as biases and unexplained AI operations. This paper explores the use of the GPT model for initial coding in qualitative thematic analysis using a sample of UN policy documents. The primary aim of this study is to contribute to the methodological discussion regarding the integration of AI tools, offering a practical guide to validation for using GPT as a collaborative research assistant. The paper outlines the advantages and limitations of this methodology and suggests strategies to mitigate risks. Emphasising the importance of transparency and reliability in employing GPT within research methodologies, this paper argues for a balanced use of AI in supported thematic analysis, highlighting its potential to elevate research efficacy and outcomes.

研究の動機と目的

• テーマ分析における初期コード化の協働ツールとしてGPTモデルを用いることの実現可能性を調査する。
• 質的コード化に合わせたカスタムGPTモデル（Supported Thematic Analysis. AIxGEO）の開発と評価。
• GPT生成コードを手動法およびトピックモデリング（LDA）と比較して評価する。
• AI支援テーマ分析の利点・限界とリスク緩和戦略を特定する。
• プロンプト、検証、研究の公正性の維持に関する実践的ガイダンスを提供する。

提案手法

• 構造化されたテーマ分析ワークフローに合わせたカスタムGPTモデルを開発する。
• Few-Shot Learning、Chain-of-Thought、ロールプレイ提案を活用して分析出力を改善する。
• GPTモデルを習熟・コード化・クラスタリング・テーマ開発へと導く知識ベースとステップバイステップの指示スクリプトを作成する。
• UN政策文書およびプレスリリース（2017–2024 の63文書）に対してモデルをパイロットテストする。
• GPT出力をLatent Dirichlet Allocation (LDA) のトピックモデリング結果と比較して検証する。
• 限界を文書化し、検証と透明性の戦略を提案する。

実験結果

リサーチクエスチョン

• RQ1 GPTモデルはテーマ分析の初期コード化を行いつつ、研究者が出力を検証・修正することを可能にするか？
• RQ2 UN政策文書におけるGPT生成コードは従来の手動コード化およびトピックモデリング（LDA）とどう比較されるか？
• RQ3 テーマ分析のためのGPT性能を改善するプロンプトとナレッジベース設計は何か？
• RQ4 AI支援テーマ分析の限界と倫理的配慮は何か、そしてそれらをどう緩和できるか？

主な発見

Year	Topic	Terms (from LDA)	Topic Labels (interpreted)	Notes
2019	Topic 1	system militar[y] human applic[ation] weapon[s]	AI Security and Military application	LDA topic about security and military applications
2019	Topic 2	right[s] human privac[s] state protect[ion]	Human Rights approach	Rights and privacy in AI governance
2019	Topic 3	unit[ed] nation educ[ation] develop[ment] learn[ing]	UN Role in AI Education	Education and development role of the UN
2019	Topic 4	artifici[al] intellig[ence] develop[ment] technolog[y] work	AI Development	Technological progress and AI deployment
2019	Topic 5	technolog[y] industri[al] revolut[ion] chang[es] respons[e]	Response to Technological Transformation	Industrial revolution and change management
2019	Topic 6	technolog[y] countr[ies] region develop[ment] govern[ance]	Technological Governance and Regional Developmnet	Governance and regional development in tech
2021	Topic 1	right[s] human intellig[ence] artifici[al] data	AI and Human Rights	Rights and data considerations in AI
2021	Topic 2	technolog[ies] countr[ies] develop[ment] ineq[ality]	Technological Development and Inequality	Inequality implications of tech development
2021	Topic 3	data learn[ing] machin[e] model[s] statist[ics]	Machine Learning	Data, learning, models, statistics focus
2021	Topic 4	nation[s] unit[ed] member[s] develop[ment] work	UN Members Role	UN member involvement in AI development
2021	Topic 5	group[s] terrorist attack individu[al] technolog[ies]	Terrorism and AI in Security	AI in security and counter-terrorism contexts
2021	Topic 6	digit[al] solut[ions] process technolog[ies] strateg[y]	Digital Strategy	Digital solutions and strategic technology deployment

• カスタムGPTモデルは、63のUN政策文書とプレスリリース（2017年–2024年3月）から700を超える個別コードを生成した。
• GPTのコード化は、倫理とガバナンスからセキュリティに至るAI関連テーマの広範な範囲を捉え、UNの言説の変化を反映している。
• GPT出力は概ね解釈的というより記述的で、時折の引用とコード命名エラーを含み、手動での精査を要した。
• トピックモデリング（LDA）はより広い抽象的検証レイヤーを提供し、GPTコード化と補完的な洞察を示した。
• OpenAI方針変更により2024年は直接引用が制限され、手動の引用検証を含む言い換えへ依存せざるを得なくなった。
• プロンプト設計と検証を組み込んだバランスの取れたAI-人間ハイブリッドワークフローは、厳密さを保ちながら効率を高めることができる。