[논문 리뷰] Theme and Topic: How Qualitative Research and Topic Modeling Can Be Brought Together

Marco Gillies, Dhiraj Murthy외 2명|arXiv (Cornell University)|2022. 10. 03.

Computational and Text Analysis Methods인용 수 8

한 줄 요약

이 논문은 확률적 토픽 모델링을 질적 연구 워크플로우와 통합하여, 코드 작성과 테마 식별과 같은 익숙한 질적 연구 개념을 기계 학습 프로세스에 매핑하는 Theme and Topic 시스템을 제안한다. 이는 연구자가 질적 연구 방법론에 기반한 직관적인 인터페이스를 통해 자동화된 토픽 모델링을 활용할 수 있도록 하여, 알고리즘 출력물에 대한 접근성과 비판적 참여를 향상시키고, 인간의 해석과 통계 모델링 간의 핵심 차이점을 부각시킨다.

ABSTRACT

Qualitative research is an approach to understanding social phenomenon based around human interpretation of data, particularly text. Probabilistic topic modelling is a machine learning approach that is also based around the analysis of text and often is used to in order to understand social phenomena. Both of these approaches aim to extract important themes or topics in a textual corpus and therefore we may see them as analogous to each other. However there are also considerable differences in how the two approaches function. One is a highly human interpretive process, the other is automated and statistical. In this paper we use this analogy as the basis for our Theme and Topic system, a tool for qualitative researchers to conduct textual research that integrates topic modelling into an accessible interface. This is an example of a more general approach to the design of interactive machine learning systems in which existing human professional processes can be used as the model for processes involving machine learning. This has the particular benefit of providing a familiar approach to existing professionals, that may can make machine learning seem less alien and easier to learn. Our design approach has two elements. We first investigate the steps professionals go through when performing tasks and design a workflow for Theme and Topic that integrates machine learning. We then designed interfaces for topic modelling in which familiar concepts from qualitative research are mapped onto machine learning concepts. This makes these the machine learning concepts more familiar and easier to learn for qualitative researchers.

연구 동기 및 목표

• 테마 탐색에서 공통된 목표를 식별하여 질적 연구와 자동화된 토픽 모델링 간 격차를 메우기.
• 기계 학습 개념을 기존의 질적 연구 워크플로우와 일치시켜 토픽 모델링을 질적 연구자들이 접근할 수 있도록 상호작용형 시스템을 설계하기.
• 알고리즘의 투명성 부족과 사용자 오해와 같은 문제를 해결하기 위해 기계 학습을 질적 실천에 통합하는 데 도전하기.
• 알고리즘적 한계를 명시하고 해석 가능하게 하여 토픽 모델링 출력물에 대한 비판적 참여를 지원하기.
• 기계 학습을 질적 탐구의 인지론적 기초에 뿌리내리게 하여 혼합 방법론 연구에서의 방법론적 숙련도를 증진시키기.

제안 방법

• 시스템은 코드 작성, 테마 식별, 반복적 분석과 같은 질적 연구 개념을 확률적 토픽 모델링 구성 요소에 매핑한다.
• 데이터 검토, 코드 생성, 테마 정련을 포함한 반복적 질적 과정을 모방하는 워크플로우를 사용한다.
• 자동으로 생성된 토픽과 관련 키워드를 표시하며, 삭제된 후에도 영향을 미치는 것을 나타내기 위해 시각적 신호(예: 회색 처리된 코드)를 사용한다.
• 사용자는 단어 제거, 코드 편집, 각 토픽과 연결된 텍스트 세그먼트 검토를 통해 주제를 상호작용적으로 정련할 수 있다.
• 완벽한 단어-토픽 일치가 아니라는 등의 알고리즘적 한계를 표시하여 오해를 방지하기 위해 주의를 기울인다.
• 기계 학습 작업을 익숙한 질적 연구 행동으로 번역하는 개념적 모델을 바탕으로 시스템을 설계한다.

실험 결과

연구 질문

• RQ1 해석의 엄격함을 해치지 않으면서 토픽 모델링을 질적 연구 워크플로우에 의미 있게 통합할 수 있는 방법은 무엇인가?
• RQ2 질적 연구자가 토픽 모델링 출력물을 이해하고 비판적으로 평가할 수 있도록 하는 데 필요한 설계 원칙은 무엇인가?
• RQ3 토픽 모델링의 가정과 행동 방식이 질적 연구에서 인간의 해석 과정과 어떻게 다를 수 있는가?
• RQ4 상호작용형 시스템은 비기술적 질적 연구자들이 기계 학습 개념을 어떻게 접근할 수 있도록 도울 수 있는가?
• RQ5 사용자가 알고리즘적 한계를 인지하고 이에 대응할 수 있도록 돕는 인터페이스 패턴은 무엇인가?

주요 결과

• Theme and Topic 시스템은 코드 작성과 테마 개발과 같은 질적 연구 관행을 토픽 모델링에 성공적으로 매핑하여 연구자가 익숙한 워크플로우 내에서 자동 분석을 활용할 수 있도록 한다.
• 사용자는 각 토픽과 관련된 단어가 무엇인지 시각적으로 검토할 수 있으며, 'dumped'와 같은 단어가 명시적으로 레이블링되지 않더라도 테마 코드와 연결되어 있음을 볼 수 있다.
• 삭제된 코드는 회색으로 표시되어 여전히 토픽 모델링에 영향을 미친다는 것을 나타내며, 사용자가 의미적 영향이 완전히 제거된 것으로 오해하는 것을 방지한다.
• 시스템은 인간의 해석과 알고리즘 출력 간의 괴리를 부각시키며, 예를 들어 문맥적 의미가 아닌 통계 패턴에 기반해 단어가 토픽에 할당된 경우를 포함한다.
• 알고리즘 행동을 투명하게 만들어 비판적 참여를 지원함으로써, 토픽 모델링 결과에 무비판적으로 의존할 위험을 줄인다.
• 이러한 접근은 존재하는 전문적 관행과 개념적 모델에 기반할 경우 토픽 모델링을 질적 연구에 통합하는 것이 가능함을 보여준다.