[論文レビュー] Utilizing Distance Metrics on Lineups to Examine What People Read From Data Plots

Niladri Roy Chowdhury, Dianne Cook+3 more|arXiv (Cornell University)|Aug 8, 2014

Data Mining Algorithms and Applications参考文献 14被引用数 4

ひとこと要約

本論文では、視覚的仮説検定ツールとして、データプロットをノイズプロットの群（ラインナップ）に埋め込み、人間の判断を受けることで、ラインナップの品質を評価するための距離指標を導入している。最小距離、平均距離、およびボックス化された距離（binned separation）を用いて、真のデータプロットがノイズプロットからどれほど明確に区別できるかを測定することで、本研究ではこれらの指標が人間の検出率および反応時間と強く相関することを示した。これにより、人間被験の前段階でラインナップの有効性を事前評価することが可能になる。

ABSTRACT

Graphics play a crucial role in statistical analysis and data mining. This paper describes metrics developed to assist the use of lineups for making inferential statements. Lineups embed the plot of the data among a set of null plots, and engage a human observer to select the plot that is most different from the rest. If the data plot is selected it corresponds to the rejection of a null hypothesis. Metrics are calculated in association with lineups, to measure the quality of the lineup, and help to understand what people see in the data plots. The null plots represent a finite sample from a null distribution, and the selected sample potentially affects the ease or difficulty of a lineup. Distance metrics are designed to describe how close the true data plot is to the null plots, and how close the null plots are to each other. The distribution of the distance metrics is studied to learn how well this matches to what people detect in the plots, the effect of null generating mechanism and plot choices for particular tasks. The analysis was conducted on data that has already been collected from Amazon Turk studies conducted with lineups for studying an array of data analysis tasks.

研究の動機と目的

• ラインナップにおける真のデータプロットがノイズプロットからどれほど視覚的に異なるかを定量化する距離指標を開発すること。
• これらの距離指標が、視覚的推論タスクにおいて人間が真のデータプロットを特定する能力を予測できるかどうかを評価すること。
• 異なるノイズ生成メカニズムおよびプロットタイプが、距離ベースの測定による真のパターンの検出可能性に与える影響を理解すること。
• 人間被験に依存する高コストなテストを減らすために、距離指標を用いたラインナップ品質の事前スクリーニングツールを提供すること。
• 最小距離、平均距離、ボックス化された距離（binned）といった、さまざまな距離指標の、データプロットにおける人間の視覚的差異認識を捉える有効性を比較すること。

提案手法

• 3つの距離指標を定義する：最小距離（異なるクラスタ内の任意の2点間の最小距離）、平均距離（異なるクラスタ内の点間の平均距離）、ボックス化された距離（ヒストグラムに基づく空間的分布に基づく）。
• 実データおよびノイズモデルから生成されたラインナップに、これらの指標を適用する。プロットは回帰線を含む散布図および高次元データからの2次元投影を用いる。
• 各指標を用いて、真のデータプロットとすべてのノイズプロットとの距離を比較し、真のプロットから最も近いノイズプロットまでの正規化された距離を「差分スコア」として算出する。
• 人間被験者がサイズ m=20 のラインナップの中で最も異なるプロットを特定した Amazon Mechanical Turk の研究データを用いる。
• 距離指標の差分と人間の反応変数（検出率および反応時間）との関係を分析する。
• 統計的モデリングを用いて、各距離指標が人間行動（変動性および非線形効果を含む）をどの程度うまく予測できるかを評価する。

実験結果

リサーチクエスチョン

• RQ1 距離指標は、ラインナップベースの視覚的推論タスクにおける人間の検出率をどの程度うまく予測できるか？
• RQ2 最小距離、平均距離、ボックス化された距離（binned separation）のうち、どの距離指標がデータプロットにおける人間の視覚的差異認識を最もよく捉えているか？
• RQ3 距離指標の分布は、ラインナップにおける真のプロットの識別難易度とどのように関連しているか？
• RQ4 ノイズプロットの生成メカニズムおよびプロットタイプが、距離指標の人間反応予測性能に与える影響はどの程度か？
• RQ5 距離指標を用いて、人間評価の前段階でラインナップの品質を事前評価できるか？

主な発見

• 検出率は距離差が大きいほど上昇し、最小距離および平均距離の両方が人間の視覚的差異への感受性を効果的に捉えている。
• 距離差が大きくなるほど反応時間が顕著に短縮され、3つの距離指標すべてで強い負の相関が観察された。
• ボックス化された距離指標は、特に小さな差分において反応時間のばらつきが大きかったが、依然として明確な負の傾向を示した。
• 外れ値が平均に影響を与える高次元・小標本設定では、最小距離が平均距離よりも優れた性能を示した。
• 距離指標を用いることで、事前にラインナップの品質を特定できる。例えば、正の最小距離差は真のプロットが視覚的に明確に異なることを示し、負の平均距離差はノイズプロットと類似していることを示唆する。
• 距離指標の選択は、人間の選択理由に合わせるべきである。例えば、回帰係数の検出には回帰に基づく距離が適しており、外れ値の検出には高解像度のボックス化された距離が適している。