[논문 리뷰] Visualizing Dimensionality Reduction Artifacts: An Evaluation

Nicolas Heulot, Jean‐Daniel Fekete외 1명|arXiv (Cornell University)|2017. 05. 15.

Data Visualization and Analytics참고 문헌 22인용 수 9

한 줄 요약

이 논문은 고차원 데이터의 2차원 투영도에 원래의 비유사도를 기반으로 사용자가 선택한 기준점에 따라 색을 입히는 상호작용 가능한 시각화 기법 ProxiViz를 평가한다. 제어된 실험 결과, ProxiViz는 아웃라이어 및 클러스터 탐지와 같은 국소 작업에서 정확도를 크게 향상시키며, 아티팩트를 노출시켜 사용자 오류를 줄인다. 반면, 기하학적 왜곡으로 인해 오해의 여지가 있는 순수한 투영도는 잘못된 해석에 취약하다.

ABSTRACT

Multidimensional scaling allows visualizing high-dimensional data as 2D maps with the premise that insights in 2D reveal valid information in high-dimensions. However, the resulting projections suffer from artifacts such as bad local neighborhood preservation and clusters tearing. Interactively coloring the projection according to the discrepancy between original proximities relative to a reference item reveals these artifacts, but it is not clear if conveying these proximities using color and displaying only local information really helps the visual analysis of projections. We conducted a controlled experiment to investigate the relevance of this interactive technique to help the visual analysis of any projection regardless its quality. We compared the bare projection to the interactive coloring of the original proximities on different visual analysis tasks involving outliers and clusters. Results indicate that the interactive coloring is worthwhile for local tasks as it is significantly robust to projection artifacts whereas the projection is not. However this interactive technique does not help significantly for visual clustering tasks for that projections already give a suitable overview.

연구 동기 및 목표

• 2차원 시각화에서 고차원 데이터의 투영 아티팩트가 사용자 해석에 미치는 영향을 조사하는 것.
• 기준점에서의 비유사도를 상호작용적으로 색상화함으로써 사용자가 이러한 아티팩트를 탐지하고 극복하는 데 도움이 되는지 평가하는 것.
• 아웃라이어 및 클러스터를 포함한 시각 분석 작업에서 순수한 투영도와 ProxiViz의 효과성을 비교하는 것.
• 아티팩트 인식 시각화가 데이터 분석 작업의 정확성과 강건성 향상에 기여하는지 규명하는 것.

제안 방법

• ProxiViz 기법은 사용자가 선택한 기준점과의 원래 비유사도를 기반으로 투영 점을 상호작용적으로 색상화하며, 색상 강도로 원래의 고차원 공간 내 거리를 표현한다.
• 이 방법은 전체 2차원 투영도에 걸쳐 비유사도를 색상 맵으로 시각화하여, 2차원 기하학을 초월한 데이터 공간의 관계를 사용자가 인지할 수 있도록 한다.
• 참가자가 여러 데이터셋을 사용해 순수한 투영도와 ProxiViz를 모두 활용하는 제어된 사용자 실험을 실시하였다.
• 작업로는 아웃라이어 식별, 클러스터 소속 확인, 클러스터 수 세기 등이며, 정확도와 반응 시간을 성능 측정 기준으로 삼았다.
• 데이터 복잡성과 투영 아티팩트에 대한 민감도를 평가하기 위해 쉬운 질문과 어려운 질문을 모두 사용하였다.
• 참가자들은 일관된 시각 기준을 확보하기 위해 훈련을 받았으며, 작업 및 기법 간 통계적 유의성 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 비유사도의 상호작용적 색상화(ProxiViz)가 순수한 투영도에 비해 국소 패턴(예: 아웃라이어 및 클러스터) 탐지 정확도를 향상시키는가?
• RQ2 표준 2차원 투영도를 사용할 경우, 투영 아티팩트가 시각 분석의 신뢰성에 어떤 영향을 미치는가?
• RQ3 시각화에서 공간 관계가 왜곡될 경우 ProxiViz가 순수한 투영도보다 더 강건한가?
• RQ4 상하이스토리컬 왜곡이 존재하더라도 ProxiViz는 국소 분석 작업에서 사용자 오류를 줄이는가?
• RQ5 다양한 데이터 복잡성 수준에서 ProxiViz와 순수한 투영도의 작업 완료 시간과 정확도를 비교하면 어떻게 되는가?

주요 결과

• ProxiViz는 아웃라이어 및 클러스터의 레이블 매칭과 같은 국소 작업에서 정확도를 크게 향상시켰으며, 쉬운 질문에서 순수한 투영도 대비 6% 높은 정확도를 기록했다.
• 순수한 투영도는 아티팩트로 인해 국소 작업에서 오류가 발생하기 쉬운 반면, ProxiViz는 진정한 비유사도를 드러내어 이러한 문제를 효과적으로 완화했다.
• 클러스터 수 세기 작업에서는 ProxiViz가 잘 분리된 클러스터에서는 순수한 투영도보다 정확도가 떨어졌다. 이는 정적 개요가 여전히 전반적인 패턴 탐지에 유용할 수 있음을 시사한다.
• ProxiViz는 순수한 투영도보다 훨씬 느렸으며, 아웃라이어 작업에서는 약 2배, 클러스터 수 세기 작업에서는 약 3배 느렸지만, 이 시간 비용은 신뢰성 향상 덕분에 정당화되었다.
• 쉬운 질문과 어려운 질문 간 성능에 유의미한 차이가 없었으며, 이는 작업이 적절히 校準화되어 있었고, 방법의 강건성이 다양한 난이도 수준에서 일관되었음을 의미한다.
• 종합적으로 ProxiViz는 아티팩트에 강건하여, 상호작용 기반 투영 기반 분석 시스템에 유용한 보완 기법임을 입증했다.