[論文レビュー] Visualizing Dimensionality Reduction Artifacts: An Evaluation

Nicolas Heulot, Jean‐Daniel Fekete+1 more|arXiv (Cornell University)|May 15, 2017

Data Visualization and Analytics参考文献 22被引用数 9

ひとこと要約

この論文は、ユーザーが選択した基準点からの元の類似度の違いに応じて2次元投影を色分けするインタラクティブ可視化手法ProxiVizを評価し、次元削減のアーティファクトを検出する。制御された実験の結果、ProxiVizは、アーティファクトを可視化し、ユーザーの誤解を減らすことで、外れ値やクラスタ検出といった局所的タスクにおける正確性を顕著に向上させる。一方、裸の投影はトポロジカルな歪みのため誤解を招きやすい。

ABSTRACT

Multidimensional scaling allows visualizing high-dimensional data as 2D maps with the premise that insights in 2D reveal valid information in high-dimensions. However, the resulting projections suffer from artifacts such as bad local neighborhood preservation and clusters tearing. Interactively coloring the projection according to the discrepancy between original proximities relative to a reference item reveals these artifacts, but it is not clear if conveying these proximities using color and displaying only local information really helps the visual analysis of projections. We conducted a controlled experiment to investigate the relevance of this interactive technique to help the visual analysis of any projection regardless its quality. We compared the bare projection to the interactive coloring of the original proximities on different visual analysis tasks involving outliers and clusters. Results indicate that the interactive coloring is worthwhile for local tasks as it is significantly robust to projection artifacts whereas the projection is not. However this interactive technique does not help significantly for visual clustering tasks for that projections already give a suitable overview.

研究の動機と目的

• 2次元可視化における高次元データの投影アーティファクトがユーザーの解釈に与える影響を調査すること。
• 基準点からの類似度のインタラクティブカラーリングが、これらのアーティファクトを検出し、克服するのを支援するかを評価すること。
• 外れ値やクラスタを含む可視化分析タスクにおいて、裸の投影とProxiVizの有効性を比較すること。
• アーティファクトに配慮した可視化が、データ分析タスクにおける正確性と頑健性を向上させるかどうかを特定すること。

提案手法

• ProxiViz技術は、ユーザーが選択した基準点からの元の類似度に応じて、投影点をインタラクティブに色分けする。色の濃さは元の高次元空間における距離を表す。
• この手法は、全体の2次元投影にわたり類似度を色マップとして可視化し、2次元幾何学を超えたデータ空間の関係をユーザーが把握できるようにする。
• 参加者が複数のデータセットを用いて、裸の投影とProxiVizの両方を用いてタスクを実行する、制御されたユーザ実験を実施した。
• タスクには外れ値の特定、クラスタメンバーシップの検証、クラスタの列挙が含まれ、正答率と反応時間を性能指標とした。
• データの複雑さと投影アーティファクトへの感受性を評価するため、簡単な問題と難しい問題の両方を用いた。
• 参加者は一貫した視覚的基準を確保するため事前トレーニングを受け、タスクと手法ごとに統計的有意性を分析した。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブな類似度カラーリング（ProxiViz）は、裸の投影と比較して、外れ値やクラスタのような局所的パターンの検出において正確性を向上させるか？
• RQ2 標準的な2次元投影を用いた場合、投影アーティファクトは視覚的分析の信頼性にどのように影響するか？
• RQ3 空間的関係が歪められるアーティファクトが存在する状況で、ProxiVizは裸の投影よりも頑健性が高いか？
• RQ4 トポロジカルな歪みが存在する中で、ProxiVizは局所的分析タスクにおけるユーザーの誤りを低減するか？
• RQ5 データの複雑さが異なる状況において、タスク完了時間と正答率の観点から、ProxiVizと裸の投影の性能はどのように比較されるか？

主な発見

• ProxiVizは、外れ値やクラスタのラベル一致といった局所的タスクにおいて正確性を顕著に向上させ、簡単な質問では裸の投影よりも6%高い正答率を示した。
• 裸の投影は局所的タスクにおいて誤りを生じやすいことが判明したが、ProxiVizは真の類似度を明らかにすることで、これらの問題を効果的に緩和した。
• クラスタの列挙においては、ProxiVizはよく分離されたクラスタでは裸の投影よりも正確性に欠けることが判明し、静的で全体的な概要は依然としてグローバルパターンの把握に有用である可能性を示唆した。
• ProxiVizは裸の投影よりも著しく遅く、外れ値タスクでは約2倍、クラスタ列挙では約3倍の時間がかかったが、信頼性の向上という点で妥当なコストであった。
• 簡単な質問と難しい質問の間で性能に有意差は認められず、タスクが適切にキャリブレーションされており、手法の頑健性が難易度の変動にかかわらず一貫していたことが示された。
• 総合的に、ProxiVizはアーティファクトに対して頑健であることが示され、インタラクティブな投影ベース分析システムにおける価値ある強化手段であると結論づけた。