[論文レビュー] Theme and Topic: How Qualitative Research and Topic Modeling Can Be Brought Together

Marco Gillies, Dhiraj Murthy+2 more|arXiv (Cornell University)|Oct 3, 2022

Computational and Text Analysis Methods被引用数 8

ひとこと要約

本論文は、確率的トピックモデリングと定性的研究のワークフローを統合するための Theme and Topic を提案する。このシステムは、コード化やテーマ同定といった定性的研究の代表的な概念を機械学習プロセスにマッピングすることで、定性的研究の方法論に基づいた直感的なインターフェースを提供し、アルゴリズム出力へのアクセス性と批判的関与を向上させるとともに、人間の解釈と統計的モデリングの間の重要な違いを浮き彫りにする。

ABSTRACT

Qualitative research is an approach to understanding social phenomenon based around human interpretation of data, particularly text. Probabilistic topic modelling is a machine learning approach that is also based around the analysis of text and often is used to in order to understand social phenomena. Both of these approaches aim to extract important themes or topics in a textual corpus and therefore we may see them as analogous to each other. However there are also considerable differences in how the two approaches function. One is a highly human interpretive process, the other is automated and statistical. In this paper we use this analogy as the basis for our Theme and Topic system, a tool for qualitative researchers to conduct textual research that integrates topic modelling into an accessible interface. This is an example of a more general approach to the design of interactive machine learning systems in which existing human professional processes can be used as the model for processes involving machine learning. This has the particular benefit of providing a familiar approach to existing professionals, that may can make machine learning seem less alien and easier to learn. Our design approach has two elements. We first investigate the steps professionals go through when performing tasks and design a workflow for Theme and Topic that integrates machine learning. We then designed interfaces for topic modelling in which familiar concepts from qualitative research are mapped onto machine learning concepts. This makes these the machine learning concepts more familiar and easier to learn for qualitative researchers.

研究の動機と目的

• トピック発見における共通の目的を特定することで、定性的研究と自動トピックモデリングの間のギャップを埋めること。
• 機械学習の概念を定性的研究のワークフローと一致させることで、トピックモデリングを定性的研究者にアクセス可能にするインタラクティブなシステムを設計すること。
• アルゴリズムの不透明性やユーザーの誤解といった、機械学習を定性的実践に統合する際の課題に対処すること。
• アルゴリズム的制限を可視化・解釈可能にする仕組みを通じて、トピックモデリング出力に対する批判的関与を支援すること。
• 定性的調査の認識論的基盤に根ざした機械学習を基盤とすることで、混合研究における研究手法の理解力を高めること。

提案手法

• システムは、コード化、テーマ同定、反復的分析といった定性的研究の概念を、確率的トピックモデリングのコンponentsにマッピングする。
• データレビュー、コード生成、テーマの洗練といった反復的定性的プロセスを模倣するワークフローを採用する。
• 自動生成されたトピックと関連キーワードを表示し、視覚的キーマーカー（例：グレーアウトされたコード）を用いて、削除後も影響を残していることを示す。
• ユーザーは語の除外、コードの編集、各トピックに関連するテキストセグメントのレビューを通じて、トピックをインタラクティブに洗練できる。
• 完全な語-トピック対応が得られないことなどのアルゴリズム的制限を明示することで、誤解を防ぐ。
• 機械学習操作を馴染みのある定性的研究行動に翻訳する概念的モデルを基盤にシステムを構築する。

実験結果

リサーチクエスチョン

• RQ1 トピックモデリングを定性的研究のワークフローに意味的に統合する方法は何か？ その際、解釈の厳密性を損なわないようにするには？
• RQ2 定性的研究者がトピックモデリング出力の理解と批判的評価を可能にするための設計原則は何か？
• RQ3 トピックモデリングの仮定と行動は、定性的研究における人間の解釈プロセスとどのように相違するか？
• RQ4 インタラクティブシステムは、非技術的定性的研究者にとって機械学習の概念をどのようにアクセス可能にするか？
• RQ5 ユーザーがトピックモデリングにおけるアルゴリズム的制限を認識・対応できるようにするためのインターフェースパターンは何か？

主な発見

• Theme and Topic システムは、コード化やテーマ開発といった定性的研究の実践をトピックモデリングに効果的にマッピングし、研究者がなじみのあるワークフロー内で自動分析を活用できるようにした。
• ユーザーは各トピックに関連する語を視覚的に確認でき、'dumped' のような語が明示的にラベル付けされていなくても、テーマ的コードに関連付けられていることを把握できる。
• 削除されたコードはグレー表示され、依然としてトピックモデリングに影響を与えていることを示すため、ユーザーが意味的影響の完全な削除を誤認するのを防ぐ。
• システムは、文脈的意味ではなく統計的パターンに基づいて語がトピックに割り当てられるなど、人間の解釈とアルゴリズム出力の乖離を強調する。
• アルゴリズム行動の透明性を高めることで、批判的関与を支援し、トピックモデリング結果への無批判的依存のリスクを低減する。
• 既存の専門的実践と概念的モデルに根ざした場合、トピックモデリングを定性的研究に統合することは実現可能であると本研究は示している。