[논문 리뷰] Analytic Provenance Datasets: A Data Repository of Human Analysis Activity and Interaction Logs

Sina Mohseni, Andrew Pachuilo외 4명|arXiv (Cornell University)|2018. 01. 16.

Data Visualization and Analytics참고 문헌 4인용 수 4

한 줄 요약

이 논문은 탐색적 데이터 분석에서 인간의 분석 활동, 상호작용 로그, 생각을 말로 털어내는 프로토콜, 그리고 눈운동 추적 데이터를 캡처한 공개 가능하고 고해상도의 분석 증명서 데이터 레포지터리를 소개한다. 이 데이터셋은 분석 세션의 실제 기록과 상세한 상호작용 로그를 제공함으로써 연구자들이 인간의 분석적 사고를 연구하고 모델링할 수 있도록 지원하며, 탐색적 데이터 분석에서 사용자 행동을 분석하는 데 도움이 되는 도구의 개발 및 평가를 지원한다.

ABSTRACT

We present an analytic provenance data repository that can be used to study human analysis activity, thought processes, and software interaction with visual analysis tools during exploratory data analysis. We conducted a series of user studies involving exploratory data analysis scenario with textual and cyber security data. Interactions logs, think-alouds, videos and all coded data in this study are available online for research purposes. Analysis sessions are segmented in multiple sub-task steps based on user think-alouds, video and audios captured during the studies. These analytic provenance datasets can be used for research involving tools and techniques for analyzing interaction logs and analysis history. By providing high-quality coded data along with interaction logs, it is possible to compare algorithmic data processing techniques to the ground-truth records of analysis history.

연구 동기 및 목표

• 탐색적 데이터 분석 분야의 연구를 위해 인간 분석 증명서의 포괄적이고 공개 가능한 데이터 레포지터리를 구축하기 위해.
• 실제 세계의 분석 작업 동안 마우스, 눈운동 추적, 구두로 말하는 생각의 흐름을 포함한 상세한 사용자 상호작용 로그를 캡처하고 코드화하기 위해.
• 알고리즘 기반 분석 및 상호작용 로그 처리 기법의 검증을 가능하게 하기 위해 분석적 사고 과정의 실제 기록을 제공하기 위해.
• 데이터 시각화 및 분석에서 인간의 분석 워크플로우를 모델링하거나 설명하거나 향상시키는 데 도움이 되는 도구의 개발을 지원하기 위해.
• 자동화된 데이터 처리 또는 추천 시스템과 인간의 분석 전략 간 비교 연구를 가능하게 하기 위해.

제안 방법

• 텍스트 정보 및 VAST 챌린지 데이터셋에서 유래한 다차원 사이버 보안 데이터라는 두 가지 데이터 유형을 대상으로 표준화된 시각적 분석 도구를 사용해 사용자 연구를 수행하였다.
• 90분 동안의 세션 동안 Tobii EyeX를 통해 화면 기록, 음성으로 말하는 생각의 흐름, 마우스 추적, 눈운동 추적 데이터를 포함한 다중모달 데이터를 수집하였다.
• 사용자 세션을 분석하고 코드화하여, 말하는 발언, 시각적 집중, 상호작용 패턴을 바탕으로 주제나 전략의 변화가 일어나는 순간인 전환점(Inflection points)을 식별하였다.
• 주제 변화, 전략 전환, 사용자가 집중 영역을 이동한다고 보고한 순간을 기반으로 분석 세션을 하위 작업으로 분할하였다.
• 완전히 익명화된 시간순서가 기록된 전사본과 로그를 제작하였으며, 사용자 행동, 시선 정지, 상호작용 이벤트에 대한 상세한 메타데이터를 포함하였다.
• 모든 데이터, 영상, 로그, 도구, 전사본을 https://research.arch.tamu.edu/analytic-provenance/ 에 온라인으로 게시하여 연구 목적의 공개 사용을 지원하였다.

실험 결과

연구 질문

• RQ1 분석가들은 개방형 탐색적 데이터 분석 작업 도중 어떻게 집중 영역과 전략을 전환하는가?
• RQ2 상호작용 로그와 눈운동 추적 데이터에서 관찰되는 어떤 패턴이 분석적 사고의 변화나 통찰 생성과 관련이 있는가?
• RQ3 다중모달 데이터를 활용해 분석 워크플로우의 전환점을 신뢰성 있게 탐지하고 주석을 달 수 있는가?
• RQ4 사용자 상호작용 로그와 말로 털어내는 생각의 흐름이 분석적 사고의 진행을 얼마나 잘 반영하고 있는가?
• RQ5 인간 분석의 증명서 데이터는 자동화된 분석 도구나 추천 시스템의 평가 및 향상에 어떻게 활용될 수 있는가?

주요 결과

• 텍스트 분석에 24명, 사이버 분석에 24명의 참가자가 포함되었으며, 각 세션에 대해 완전한 다중모달 로그와 코드화된 전환점이 포함되어 있다.
• 말로 털어내는 생각, 시선 정지 패턴, 상호작용 패턴의 조합을 통해 전환점이 신뢰성 있게 식별되었으며, 개요 보기에서 상세 보기로 전환하거나 검색어를 변경하는 등의 행동이 주요 지표로 작용했다.
• 참가자들은 명시적인 말적 신호 없이도 자주 주제를 전환했으며, 이는 분석 전환을 탐지하기 위해 행동적 및 시각적 신호의 중요성을 강조한다.
• 생각을 말로 털어내는 프로토콜을 사용함으로써 분석적 사고의 정확한 전사가 가능했으며, 모든 세션에서 시간순서가 기록된 통찰과 주제 변화가 문서화되었다.
• 눈운동 추적과 마우스 상호작용 로그는 집중 독서, 패턴 검색, 탐색 등의 다른 분석 단계에서 뚜렷한 행동 패턴을 드러냈다.
• 알고리즘 기반 상호작용 로그 처리와 실제 인간 분석 기록 간 직접 비교가 가능해지며, 분석 모델링 기법의 검증이 가능해졌다.