[논문 리뷰] Superheat: Supervised heatmaps for visualizing complex data

Rebecca Barter, Bin Yu|arXiv (Cornell University)|2015. 12. 04.

Data Visualization and Analytics참고 문헌 22인용 수 6

한 줄 요약

이 논문은 고차원 데이터의 시각화를 향상시키기 위해 레이블 정보를 통합한 지도 학습 히트맵 방법인 superheat를 소개한다. 전통적인 군집화 히트맵에 비해 성능 평가 및 특징 해석 기능을 통합함으로써, 복잡한 데이터셋으로부터 더 명확한 통찰을 도출할 수 있도록 한다. R의 superheat 패키지를 통해 구현된 바와 같이, 범죄 분석 및 신경 활동 예측 분야에서의 실제 적용 사례를 통해 그 유용성을 입증하였다.

ABSTRACT

Technological advancements of the modern era have enabled the collection of huge amounts of data in science and beyond. Accordingly, computationally intensive statistical and machine learning algorithms are being used to seek answers to increasingly complex questions. Although visualization has the potential to be a powerful aid to the modern information extraction process, visualizing high-dimensional data is an ongoing challenge. In this paper we introduce the supervised heatmap, called superheat, which is a new graph that builds upon existing clustered heatmaps that are widely used in fields such as bioinformatics. Supervised heatmaps have two primary aims: to provide a means of visual extraction of the information contained within high-dimensional datasets, and to provide a visual assessment of the performance of model fits to these datasets. We will use two case studies to demonstrate the practicality and usefulness of supervised heatmaps in achieving these goals. The first will examine crime in US communities for which we will use the supervised heatmaps to gain an in-depth understanding of the information contained within the data, the clarity of which is unparalleled by existing visualization methods. The second case study will explore neural activity in the visual cortex where we will use supervised heatmaps to guide an exploration of the suitability of a Lasso-based linear model in predicting brain activity. Supervised heatmaps are implemented via the superheat package written in the R programming software.

연구 동기 및 목표

• 복잡한 과학적 및 계산 연구에서 고차원 데이터를 시각화하는 데 도전하는 데 목적을 두며.
• 레이블 정보를 통합하여 데이터 패턴의 해석 가능성을 향상시키는 시각화 방법을 개발하는 데 목적을 두며.
• 데이터 패턴 추출 외에도 모델 적합도 성능을 시각적으로 평가할 수 있도록 하는 데 목적을 두며.
• 실제 응용 분야인 범죄 분석 및 신경과학 분야에서의 실용성을 입증하는 데 목적을 두며.
• 데이터 과학 분야에서의 광범위한 채택을 위해 R에서 사용자 친화적인 구현을 제공하는 것에 목적을 두며.

제안 방법

• 히트맵 레이아웃과 순서에 지도 학습 레이블을 통합하여 전통적인 군집화 히트맵을 확장한다.
• 행과 열 양쪽에 계층적 군집화를 적용하며, 열의 순서는 레이블 상관관계 또는 모델 예측에 기반한다.
• 이중 시각화 접근법을 도입하여, 하나는 데이터 구조를, 다른 하나는 모델 성능 지표를 표현한다.
• 순열 기반 유의성 검정을 활용하여 히트맵 내 특징 그룹화의 신뢰성을 평가한다.
• 고차원 데이터에서 예측 가능한 특징을 식별하기 위해 라소 기반 모델과 히트맵을 결합한다.
• 재현성과 접근성을 확보하기 위해 R 프로그래밍 언어를 활용해 superheat 패키지를 통해 방법을 구현한다.

실험 결과

연구 질문

• RQ1 지속적인 히트맵이 기존의 시각화 방법에 비해 고차원 데이터셋의 해석 가능성을 얼마나 향상시킬 수 있는가?
• RQ2 지속적인 히트맵이 미국 지역 범죄 데이터와 같은 복잡한 실세계 데이터에서 의미 있는 패턴을 얼마나 잘 드러내는가?
• RQ3 지속적인 히트맵이 고차원 데이터에서 예측 모델의 성능을 평가하는 데 얼마나 효과적인가?
• RQ4 신경 과학 응용 분야, 예를 들어 시각 피질 활동을 예측하는 데서 지속적인 히트맵이 모델 선택과 특징 해석을 어떻게 지원할 수 있는가?
• RQ5 레이블 기반 군집화가 히트맵 시각화의 명확성과 유용성을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• superheat는 미국 지역 범죄 데이터에 대한 심층 분석을 통해 복잡한 데이터 패턴을 뛰어난 명확도로 시각화할 수 있음을 입증하였다.
• 이 방법은 기존의 시각화 기법으로는 감지하기 어려운 고차원 데이터셋 내 숨겨진 구조를 성공적으로 드러내었다.
• 지속적인 히트맵은 모델 적합도를 시각적으로 평가할 수 있도록 하여, 연구자가 히트맵 레이아웃을 통해 예측 성능을 직접 평가할 수 있도록 하였다.
• 신경 활동 사례 연구에서 superheat는 라소 기반 선형 모델이 뇌 반응을 예측하는 데 적합한지 평가하는 데 도움을 주었다.
• R의 superheat 패키지는 다양한 분야에서 지속적인 히트맵을 적용할 수 있도록 실용적이고 접근성 있는 도구를 제공한다.
• superheat의 레이블 기반 군집화는 특징 그룹화의 해석 가능성을 향상시키고 의미 있는 데이터 패턴 탐지 능력을 향상시켰다.