[論文レビュー] Human Factors Influencing Visual Statistical Inference

Mahbubul Majumder, Heike Hofmann+1 more|arXiv (Cornell University)|Aug 8, 2014

Data Visualization and Analytics参考文献 5被引用数 5

ひとこと要約

本研究は、観察者が実際にデータプロットをノイズプロットの中から特定するラインアッププロトコルを用いた視覚的統計的推論に影響を与える人間要因を調査している。結果として、個人のスキルにはばらつきがあるものの、人口統計的要因の影響は最小限であることが判明した。プロットの配置やノイズセットの選択が検出率に顕著な影響を及ぼさないことは、実践的なデータ分析におけるラインアップ法の頑健性を裏付けている。

ABSTRACT

Visual statistical inference is a way to determine significance of patterns found while exploring data. It is dependent on the evaluation of a lineup, of a data plot among a sample of null plots, by human observers. Each individual is different in their cognitive psychology and judiciousness, which can affect the visual inference. The usual way to estimate the effectiveness of a statistical test is its power. The estimate of power of a lineup can be controlled by combining evaluations from multiple observers. Factors that may also affect the power of visual inference are the observers' demographics, visual skills, and experience, the sample of null plots taken from the null distribution, the position of the data plot in the lineup, and the signal strength in the data. This paper examines these factors. Results from multiple visual inference studies using Amazon's Mechanical Turk are examined to provide an assessment of these. The experiments suggest that individual skills vary substantially, but demographics do not have a huge effect on performance. There is evidence that a learning effect exists but only in that observers get faster with repeated evaluations, but not more often correct. The placement of data plot in the lineup does not affect the inference.

研究の動機と目的

• 人間要因（年齢、性別、国、教育水準など）や視覚的スキル、経験がラインアッププロトコルを用いた視覚的統計的推論のパフォーマンスに与える影響を評価すること。
• ラインアップ内での実際にデータプロットの配置が、検出精度に影響を与えるかどうかを評価すること。
• 信号強度とノイズ分布のサンプリングが、推論力に与える影響を調査すること。
• 観察者が繰り返し評価を経ることで向上するかどうか、すなわち学習効果があるかどうかを特定すること。
• 多様な人間観察者および実験的条件下でラインアップ法の頑健性を検証すること。

提案手法

• Amazon Mechanical Turkを介して複数の視覚的推論実験を実施。参加者は20枚のプロット（1枚の実データプロット、19枚のノイズプロット）から成るラインアップを評価した。
• 既知の誤差範囲（例：世論調査データでは±2.5）を用いて帰無仮説の下でデータをシミュレートすることでノイズプロットを生成した。
• 依存性を補正した修正された二項分布を用いて、正しく特定された回数に基づきp値を計算した。
• 検出率に及ぼすプロット位置、ノイズセット、人口統計的変数の効果の有意性を評価するため、マニテス・マルチバリアンス分析（MANOVA）とウィルクスの検定を適用した。
• 繰り返し試行におけるパフォーマンスの傾向を分析し、時間経過に伴う学習効果を検出した。
• 異なるノイズセットおよびプロット位置における検出率を比較し、系統的なバイアスの有無を評価した。

実験結果

リサーチクエスチョン

• RQ1 観察者の人口統計的要因（年齢、性別、国、教育水準）は、視覚的統計的推論における検出精度にどのように影響を与えるか？
• RQ2 実際にデータプロットがラインアップ内でどの位置にあるかが、正しく特定される可能性に影響を与えるか？
• RQ3 複数回のラインアップ評価を経ることで、観察者が学習効果を示すか、すなわち反応時間の短縮や精度の向上が見られるか？
• RQ4 ノイズセットの違いや信号強度の変動が、検出パフォーマンスにどのように影響を与えるか？
• RQ5 視覚的スキルにおける個人差が、視覚的推論の信頼性にどの程度影響を与えるか？

主な発見

• 年齢（36–40）、インド・米国以外の国籍、大学院教育を受けていた観察者はわずかに高い検出率を示したが、差は最小限（数パcentポイント）であった。
• 性別は検出パフォーマンスに統計的に有意な影響を及ぼさなかった。
• 実際にデータプロットのラインアップ内での配置が検出精度に顕著な影響を及ぼさないことが確認され、ランダム配置が妥当であることを裏付けた。
• 反応時間の短縮は見られたが、正確性に向上は認められず、時間経過による判断力の向上はなかった。
• ノイズセットの選択は、特定のノイズセット（インタラクションラインアップにおけるノイズセット3）でのみわずかだが統計的に有意な影響を示したが、全体的には無視できる程度の影響であった。
• 全体の検出率は、プロットの配置やノイズセットの変動にかかわらず頑健であり、系統的なバイアスは認められなかった。これにより、この手法の信頼性が確認された。