[논문 리뷰] HyperTools: A Python toolbox for visualizing and manipulating high-dimensional data

Andrew C. Heusser, Kirsten Ziman외 2명|ArXiv.org|2017. 01. 28.

Computational Physics and Python Applications참고 문헌 20인용 수 3

한 줄 요약

HyperTools는 차원 감소 및 데이터 정렬 기법을 사용하여 고차원 데이터를 직관적으로 시각화하고 조작할 수 있도록 해주는 파이썬 도구상자입니다. 복잡한 데이터셋을 2차원 또는 3차원 공간으로 투영하고, Procrustean 변환을 통해 이질적인 데이터셋을 정렬함으로써 기하학적 구조와 시간적 궤적을 드러냅니다. 뇌 영상, 교육, 언어 데이터 등에서의 사례를 통해 상호작용 가능하고 출판 수준의 시각화를 통해 깊이 있는 통찰을 가능하게 합니다.

ABSTRACT

Data visualizations can reveal trends and patterns that are not otherwise obvious from the raw data or summary statistics. While visualizing low-dimensional data is relatively straightforward (for example, plotting the change in a variable over time as (x,y) coordinates on a graph), it is not always obvious how to visualize high-dimensional datasets in a similarly intuitive way. Here we present HypeTools, a Python toolbox for visualizing and manipulating large, high-dimensional datasets. Our primary approach is to use dimensionality reduction techniques (Pearson, 1901; Tipping & Bishop, 1999) to embed high-dimensional datasets in a lower-dimensional space, and plot the data using a simple (yet powerful) API with many options for data manipulation [e.g. hyperalignment (Haxby et al., 2011), clustering, normalizing, etc.] and plot styling. The toolbox is designed around the notion of data trajectories and point clouds. Just as the position of an object moving through space can be visualized as a 3D trajectory, HyperTools uses dimensionality reduction algorithms to create similar 2D and 3D trajectories for time series of high-dimensional observations. The trajectories may be plotted as interactive static plots or visualized as animations. These same dimensionality reduction and alignment algorithms can also reveal structure in static datasets (e.g. collections of observations or attributes). We present several examples showcasing how using our toolbox to explore data through trajectories and low-dimensional embeddings can reveal deep insights into datasets across a wide variety of domains.

연구 동기 및 목표

• 기존의 2차원/3차원 플로팅이 불가능한 고차원 데이터셋을 효과적으로 시각화하고 해석하는 데 도전하는 것.
• 연구자들이 저차원 임bedding과 데이터 궤적을 통해 복잡한 데이터를 탐색할 수 있도록 사용자 친화적이고 오픈소스인 도구상자를 제공하는 것.
• 뇌 활동과 영상 프레임과 같은 서로 다른 좌표계를 가진 데이터셋 간의 비교와 정렬을 위해 하이퍼정렬 및 Procrustean 변환을 활용하는 것.
• 신경과학, 교육, 사회과학 등 다양한 분야에서 직관적이고 출판 수준의 시각화를 통해 가설 생성과 데이터 탐색을 지원하는 것.

제안 방법

• PCA, t-SNE, PPCA와 같은 차원 감소 알고리즘을 사용하여 고차원 데이터를 2차원 또는 3차원 공간으로 투영하여 시각화하는 방법.
• 하이퍼정렬 알고리즘과 Procrustean 변환을 활용하여 원래 차원이 다를 수 있는 여러 고차원 데이터셋을 공통된 좌표계로 정렬하는 방법.
• 정렬 전에 시간적 해상도를 통일하기 위해 시간시리즈 데이터를 조각별로 3차 보간법으로 재샘플링하는 방법.
• 정렬 이전에 데이터를 공통의 저차원 공간(예: 뇌 볼륨 수와 일치하는 6,641차원)으로 투영하기 위해 `reduce` 함수를 사용하는 방법.
• 한 데이터셋(예: 뇌 반응)을 다른 데이터셋(예: 영화 프레임)에 최소 제곱 유클리드 거리로 정렬하기 위해 최적의 선형 변환을 계산하기 위해 `procrustes` 함수를 사용하는 방법.
• 시간적 패턴을 고차원 시간시리즈에서 동적으로 탐색할 수 있도록 데이터 궤적의 상호작용 가능하고 애니메이션 시각화를 지원하는 방법.

실험 결과

연구 질문

• RQ1 기하학적 및 시간적 구조를 유지하면서 고차원 데이터를 효과적으로 어떻게 시각화할 수 있는가?
• RQ2 차원 감소 및 정렬 기법이 뇌 활동, 교육 성취도, 정치적 논의와 같은 다양한 데이터셋에서 숨겨진 패턴을 어느 정도 드러낼 수 있는가?
• RQ3 다른 좌표계를 가진 데이터셋(예: 뇌 반응과 영상 프레임) 간의 Procrustean 정렬이 의미 있는 대응 관계를 드러낼 수 있는가?
• RQ4 파이썬 도구상자에서 단일 라인 API가 비전문가 사용자에게 복잡한 데이터 시각화 및 조작을 어떻게 단순화할 수 있는가?

주요 결과

• HyperTools는 뇌 반응과 영화 프레임을 공통의 6,641차원 공간으로 정렬함으로써 그들의 시간적 궤적에서 기하학적 유사성을 효과적으로 드러내어 상호관계를 시각화함.
• 도구상자는 뇌 반응을 '영화의 시각'을 통해 시각화할 수 있도록 하여, 각 뇌 패턴이 직접적인 해석이 가능한 대응하는 영화 프레임으로 매핑될 수 있도록 허용함.
• 하이퍼정렬을 통해 11명의 참가자로부터의 뇌 데이터를 공통된 공간으로 정렬함으로써, 원래 좌표계의 차이가 있음에도 불구하고 개인 간 뇌 반응을 비교할 수 있음.
• Procrustean 변환은 뇌 데이터를 영화 공간으로 효과적으로 재정렬하였으며, 결과적으로 다양한 모odal 간 기하학적 구조를 시각적·정량적으로 비교할 수 있도록 함.
• 도구상자는 뇌 영상, 교육, 정치, 생물학 등 다양한 분야에서 요약 통계치만으로는 드러나지 않는 패턴을 드러내며 실용성을 입증함.
• 차원 감소와 정렬 기법을 하나의 접근하기 쉬운 API로 통합함으로써, 일반 코드로도 복잡한 시각화와 분석을 매우 간단하게 수행할 수 있었으며, 종종 단일 라인 코드로도 충분함.