[논문 리뷰] Guided Visual Exploration of Relations in Data Sets

Kai Puolamäki, Emilia Oikarinen외 1명|arXiv (Cornell University)|2019. 05. 07.

Data Visualization and Analytics참고 문헌 25인용 수 5

한 줄 요약

이 논문은 타일 제약 조건을 통해 사용자 지식과 목표를 모델링함으로써 체계적인 가이드드 시각적 탐색 프레임워크를 제안한다. 이는 정보가 많은 시각화를 우선시하는 상호작용 가능하고 노이즈에 강건하며 계산적으로 효율적인 차원 축소를 가능하게 한다. 이 방법은 표준 투영 풍미 기법보다 뛰어나며, 실제 데이터 탐색에서 반복되거나 이미 알려진 패턴을 줄인다.

ABSTRACT

Efficient explorative data analysis systems must take into account both what a user knows and wants to know. This paper proposes a principled framework for interactive visual exploration of relations in data, through views most informative given the user's current knowledge and objectives. The user can input pre-existing knowledge of relations in the data and also formulate specific exploration interests, which are then taken into account in the exploration. The idea is to steer the exploration process towards the interests of the user, instead of showing uninteresting or already known relations. The user's knowledge is modelled by a distribution over data sets parametrised by subsets of rows and columns of data, called tile constraints. We provide a computationally efficient implementation of this concept based on constrained randomisation. Furthermore, we describe a novel dimensionality reduction method for finding the views most informative to the user, which at the limit of no background knowledge and with generic objectives reduces to PCA. We show that the method is suitable for interactive use and is robust to noise, outperforms standard projection pursuit visualisation methods, and gives understandable and useful results in analysis of real-world data. We provide an open-source implementation of the framework.

연구 동기 및 목표

• 상호작용 가능한 시각적 데이터 분석 시스템에서 사용자 지식과 탐색 목표의 체계적인 통합이 부족한 문제를 해결하기 위해.
• 사용자가 제공한 제약 조건과 관심사에 기반해 동적으로 새로운 정보가 많은 관계를 강조할 수 있는 방법을 개발하기 위해.
• 반복적이고 자주 발생하는 패턴이나 이미 알려진 패턴을 표시하지 않는 계산적으로 효율적인 상호작용 프레임워크를 만들기 위해.
• 기존의 반복적 데이터 마이닝 및 제약 조건이 있는 무작위화 접근법을 확장하여 실시간으로 사용자 가이드드 실수치 데이터의 시각적 탐색을 지원하기 위해.
• 사용자 특화된 제약 조건에 적응하는 차원 축소 기법을 제공하기 위해 — 이는 사전 지식이 없을 경우 PCA로 축소된다.

제안 방법

• 타일 제약 조건(행과 열의 부분집합으로 정의된, 알려진 또는 의심되는 관계를 나타내는)을 통해 사용자 배경 지식을 확률 분포로 모델링한다.
• 사용자가 정의한 제약 조건 하에서 합성 데이터를 생성하기 위해 제약 조건이 있는 무작위화를 활용하여 정보 이론적 측정치인 놀라움을 효율적으로 계산한다.
• 사용자 지식에 비해 최대한 정보가 많은 시각화를 식별하는 새로운 차원 축소 방법을 도입하며, 제약 조건이 없을 경우 PCA로 축소된다.
• 데이터 행렬 내에서 사용자가 정의한 제약 조건(타일)을 표현하고 동적으로 겹치거나 인접한 타일을 병합하기 위해 타일 기반 틀 구조를 사용한다.
• 해시 맵을 사용해 겹침을 탐지하고 해결함으로써 기존의 겹침이 없는 틀에 새로운 타일을 삽입하는 데 O(nm) 알고리즘을 구현한다.
• 가설을 제약 조건으로 인코딩함으로써 사용자 조정을 통합하며, 이는 후속 정보가 많은 투영 선택을 이끈다.

실험 결과

연구 질문

• RQ1 사용자 지식과 탐색 목표를 어떻게 체계적으로 모델링하여 상호작용 가능한 시각적 데이터 탐색을 이끌 수 있는가?
• RQ2 사용자 특화된 배경 지식의 맥락에서 '정보가 많은' 시각화를 정의하는 데 가장 효과적인 방법은 무엇인가?
• RQ3 사용자가 정의한 제약 조건이 있는 고차원 데이터에서 정보 이론적 놀라움을 효율적으로 계산하는 데 제약 조건이 있는 무작위화를 사용할 수 있는가?
• RQ4 제안된 차원 축소 방법은 PCA 및 투영 풍미 기법과 비교해 노이즈에 강건하고 정보가 많은가?
• RQ5 이 프레임워크는 반복적이고 상호작용 가능한 탐색을 얼마나 잘 지원할 수 있으며, 반복되거나 알려진 패턴을 표시하지 않을 수 있는가?

주요 결과

• 제안된 프레임워크는 사용자 제약 조건에 비해 최대한 놀라운 시각화에 집중함으로써 반복되거나 이미 알려진 관계의 표시를 크게 줄였다.
• 실제 데이터에서 노이즈에 강건한 것으로 나타났으며, 의미 있는 패턴을 식별하는 데 있어 표준 투영 풍미 시각화 기법을 능가했다.
• 사용자 배경 지식이 없을 경우 차원 축소 기법은 PCA로 축소되어 이론적 일관성을 입증했다.
• 제약 조건이 있는 무작위화 접근법은 정보가 많은 시각화를 효율적으로 계산하여 실시간 탐색 워크플로우에서 상호작용 가능하게 지원한다.
• 오픈소스 구현을 통해 다양한 데이터 분석 시나리오에서 재현 가능하고 확장 가능한 프레임워크 사용이 가능하다.
• 타일 병합 알고리즘은 O(nm) 시간 복잡도를 달성하여 동적 제약 조건 업데이트가 이루어지는 대규모 데이터셋에 대한 확장성을 보장한다.