[論文レビュー] Analytic Provenance Datasets: A Data Repository of Human Analysis Activity and Interaction Logs

Sina Mohseni, Andrew Pachuilo+4 more|arXiv (Cornell University)|Jan 16, 2018

Data Visualization and Analytics参考文献 4被引用数 4

ひとこと要約

本論文は、テキストおよびサイバーセキュリティデータ分析のユーザースタディで得られた人間の分析活動、インタラクションログ、考えを声に出すプロトコル、および眼動追跡データを収集した、公開可能で高精細な分析プロバンスデータレポジトリを紹介する。このデータセットは、詳細なインタラクションログと、分析セッションの真値コードを併記することで、研究者が人間の分析的推論を研究・モデル化できるようにし、探索的データ分析におけるユーザ行動の分析を支援するツールの開発と評価を可能にする。

ABSTRACT

We present an analytic provenance data repository that can be used to study human analysis activity, thought processes, and software interaction with visual analysis tools during exploratory data analysis. We conducted a series of user studies involving exploratory data analysis scenario with textual and cyber security data. Interactions logs, think-alouds, videos and all coded data in this study are available online for research purposes. Analysis sessions are segmented in multiple sub-task steps based on user think-alouds, video and audios captured during the studies. These analytic provenance datasets can be used for research involving tools and techniques for analyzing interaction logs and analysis history. By providing high-quality coded data along with interaction logs, it is possible to compare algorithmic data processing techniques to the ground-truth records of analysis history.

研究の動機と目的

• 探索的データ分析分野における研究を支援するため、人間の分析的プロバンスを包括的かつ公開可能なデータレポジトリとして構築すること。
• 実世界の分析タスク中に、マウス操作、眼動追跡、および音声による考えを声に出すプロトコルを含む、詳細なユーザインタラクションログを収集・コード化すること。
• アルゴリズム的分析やインタラクションログ処理技術の検証を可能にするために、分析的推論プロセスの真値記録を提供すること。
• データ可視化や分析における人間の分析ワークフローをモデル化・説明・強化するツールの開発を支援すること。
• 人間の分析戦略と自動化されたデータ処理または推薦システムとの間で比較研究を可能にすること。

提案手法

• VASTチャレンジデータセットから得たテキストインテリジェンスおよび多次元サイバーセキュリティデータの2種類のデータタイプを対象に、標準化されたビジュアル分析ツールを用いたユーザースタディを実施した。
• 90分間のセッション中に、スクリーン録画、音声による考えを声に出すプロトコル、マウス追跡、Tobii EyeXを用いた眼動追跡のマルチモーダルデータを収集した。
• 発言内容、視線の集中、インタラクションパターンに基づいて、トピックや戦略の変化を示すインフレクションポイント（変化点）を特定する目的で、ユーザーセッションを分析・コード化した。
• トピックの変化、戦略の転換、およびユーザが注目を移したと報告する瞬間を根拠に、分析セッションをサブタスクに分割した。
• 完全に匿名化され、時刻スタンプが付与されたトランスクリプトおよびログを生成し、ユーザ行動、注視固定、インタラクションイベントに関する詳細なメタデータを付加した。
• 動画、ログ、ツール、トランスクリプトを含むすべてのデータを、https://research.arch.tamu.edu/analytic-provenance/ にてオンライン公開し、研究目的での利用を可能にした。

実験結果

リサーチクエスチョン

• RQ1 分析者がオープンエンドの探索的データ分析タスクにおいて、どのように注目点や戦略を変更するのか。
• RQ2 インタラクションログおよび眼動追跡データにどのようなパターンが、分析的思考の変化やインサイト生成に対応しているのか。
• RQ3 マルチモーダルデータを用いて、分析ワークフローにおけるインフレクションポイントを信頼性高く検出・アノテーションすることは可能か。
• RQ4 ユーザインタラクションログと音声による考えを声に出すプロトコルは、分析的推論の進行をどの程度正確に反映しているのか。
• RQ5 人間の分析から得られるプロバンスデータは、自動分析ツールや推薦システムの評価・改善にどのように活用できるか。

主な発見

• テキスト分析に24名、サイバーセキュリティ分析に24名の参加者がおり、各セッションについて完全なマルチモーダルログとコード化されたインフレクションポイントが収集された。
• 発言内容、注視固定パターン、およびインタラクションの変化（例：概要表示から詳細表示に切り替え、検索キーワードの変更など）を組み合わせることで、インフレクションポイントが信頼性高く同定された。
• 参加者は明示的な発言がないままにトピックを頻繁に切り替えており、分析的転換を検出するにあたり、行動的および視覚的サインの重要性が浮き彫りになった。
• 考えを声に出すプロトコルの使用により、分析的推論の正確なトランスクリプトが得られ、全セッションで時刻スタンプが付与されたインサイトとトピックの変更が記録された。
• 眼動追跡とマウス操作ログから、集中読書、パターン検索、ナビゲーションなどの異なる分析フェーズにおける明確な行動パターンが明らかになった。
• アルゴリズムによるインタラクションログ処理と真値としての人的分析履歴の直接比較が可能であり、分析モデリング技術の検証が可能になった。