[論文レビュー] An Aggregation-Based Overall Quality Measurement for Visualization

Weidong Huang|arXiv (Cornell University)|Jun 11, 2013

Data Visualization and Analytics参考文献 12被引用数 3

ひとこと要約

本稿では、エッジ交差、対称性、エッジ長の均一性などの個々の美的基準を統合する1つのzスコア加重インデックスに組み合わせることで、グラフ可視化の包括的品質指標を提示する。この手法はユーザースタディにおいて強く予測妥当性を示し、人間の理解パフォーマンス（β = 0.717）と顕著に相関しており、タスクベースの指標を上回る、微細な品質差の検出能力を有する。

ABSTRACT

Aesthetics are often used to evaluate the quality of graph drawings. However, the existing aesthetic criteria are useful in judging the extents to which a drawing conforms to particular drawing rules. They have limitations in evaluating overall quality. Currently the overall quality of graph drawings is mainly evaluated based on personal judgments and user studies. Personal judgments are not reliable, while user studies can be costly to run. Therefore, there is a need for a direct measure of overall quality. This measure can be used by visualization designers to quickly compare the quality of drawings at hand at the design stage and make decisions accordingly. In an attempt to meet this need, we propose a measure that measures overall quality based on aggregation of individual aesthetic criteria. We present a user study that validates this measure and demonstrates its capacity in predicting the performance of human graph comprehension. The implications of the proposed measure for future research are discussed.

研究の動機と目的

• デザイン段階におけるグラフ可視化の包括的品質を評価するための信頼性の高い客観的指標の欠如に対処する。
• 可視化品質を評価する際の主観的個人的判断や高コストなユーザースタディの限界を克服する。
• 複数の美的基準を統合した1つの包括的品質スコアに統合する、統一的で計算的に導出された指標を開発する。
• 提案された指標が、グラフ理解タスクにおける人間のパフォーマンスを予測できる能力を検証する。
• 従来のパフォーマンスベースの指標よりも、品質差に敏感であることを示す。

提案手法

• エッジ交差、対称性、エッジ長の均一性などの個々の美的基準のzスコアを、ベースラインまたは分布に対して計算する。
• 複数の美的基準のzスコアを、加重平均または非加重平均を用いて1つの包括的品質スコアに集約する。
• 制御されたユーザースタディにおいて、複数の条件における異なるグラフレイアウトを比較するために包括的品質指標を適用する。
• 回帰分析を用いて、包括的品質スコアが人間のパフォーマンス指標（所要時間、作業負荷、効率）に与える予測力の検証を行う。
• 従来のパフォーマンス指標と比較して、本指標がレイアウト間の差を検出できる感度を検証する。
• 分散分析（ANOVA）や事後多重比較などの統計的検定を用いて、パフォーマンスおよび品質スコアにおける差の有意性を評価する。

実験結果

リサーチクエスチョン

• RQ1 集約ベースの包括的品質指標は、個々の美的基準を越えたグラフ可視化の包括的品質を効果的に捉えることができるか？
• RQ2 提案された包括的品質指標は、グラフ理解タスクにおける人間のパフォーマンスをどの程度うまく予測できるか？
• RQ3 提案された指標は、反応時間や作業負荷といった従来のパフォーマンスベースの指標よりも、品質差に敏感か？
• RQ4 包括的品質指標は、ユーザーの効率性およびタスクパフォーマンスとどの程度相関しているか？
• RQ5 異なるレイアウトアルゴリズムやグラフタイプに適用した場合でも、本指標は有効性を保つのか？

主な発見

• 提案された包括的品質指標は、人間の理解効率と有意に正の相関を示した（β = 0.717, p < 0.001）、強力な予測妥当性を示した。
• 事後多重比較の結果、パフォーマンスベースの指標よりも、本指標がレイアウト間の品質差をより効果的に検出できた。
• 所要時間、作業負荷、効率に関するパフォーマンス指標に有意な全体差が認められたが、正答率に有意差は認められず、タスクの遵守状態と有効な測定条件が保証された。
• 効率性のための包括的回帰モデルは統計的に有意であった（F(1,28) = 29.625, p < 0.001）、モデルの妥当性を支持する。
• 本指標は、微細な品質変動に対する感受性が従来のパフォーマンス指標を上回り、レイアウト品質のより信頼性の高い指標であることが示唆された。
• 本研究は、集約zスコアアプローチが、高コストなユーザースタディに代わる、計算的に効率的で、経験的根拠に基づいた、初期段階の可視化評価の有効な代替手段であることを確認した。