[논문 리뷰] Xtreaming: an incremental multidimensional projection technique and its application to streaming data

Tácito T. A. T. Neves, Rafael M. Martins외 4명|arXiv (Cornell University)|2020. 03. 08.

Data Visualization and Analytics참고 문헌 46인용 수 5

한 줄 요약

Xtreaming은 기존 데이터를 다시 방문하지 않고 실시간으로 프로젝션을 업데이트함으로써 스트리밍 데이터를 효율적으로 시각화하는 증분 다차원 투영 기법이다. 기존의 스트리밍 및 증분 방법보다 수개의 주기만큼 빠르며 경쟁적인 전역 거리 유지 성능을 달성하여, 다중 데이터 패assing 없이도 새로운 구조를 반영하기 위해 프로젝션을 진화시킬 수 있는 최초의 기법이다.

ABSTRACT

Streaming data applications are becoming more common due to the ability of different information sources to continuously capture or produce data, such as sensors and social media. Despite recent advances, most visualization approaches, in particular, multidimensional projection or dimensionality reduction techniques, cannot be directly applied in such scenarios due to the transient nature of streaming data. Currently, only a few methods address this limitation using online or incremental strategies, continuously processing data, and updating the visualization. Despite their relative success, most of them impose the need for storing and accessing the data multiple times, not being appropriate for streaming where data continuously grow. Others do not impose such requirements but are not capable of updating the position of the data already projected, potentially resulting in visual artifacts. In this paper, we present Xtreaming, a novel incremental projection technique that continuously updates the visual representation to reflect new emerging structures or patterns without visiting the multidimensional data more than once. Our tests show that Xtreaming is competitive in terms of global distance preservation if compared to other streaming and incremental techniques, but it is orders of magnitude faster. To the best of our knowledge, it is the first methodology that is capable of evolving a projection to faithfully represent new emerging structures without the need to store all data, providing reliable results for efficiently and effectively projecting streaming data.

연구 동기 및 목표

• 기존 차원 축소 기법이 단일 패assing 제약으로 인해 실패하는 고속도, 일시적인 스트리밍 데이터를 시각화하는 데 도전하는 것.
• 기존에 시각화된 데이터의 프로젝션 위치를 원본 다차원 데이터를 재처리하지 않고도 업데이트할 수 있는 방법을 개발하는 것.
• 낮은 지연 시간과 높은 확장성을 확보하면서도 높은 품질의 레이아웃 유지도(전역 거리 유지)를 유지하는 것.
• 기존 온라인 방법의 한계를 극복하는 것—즉, 다중 데이터 패assing이 필요하거나 이전에 프로젝션된 인스턴스를 재정렬하지 못하는 것.

제안 방법

• Xtreaming은 들어오는 데이터 스트림에서 새로운 구조적 패턴이 나타날 때를 감지하기 위한 변화 탐지 메커니즘을 사용한다.
• 기존 2차원 레이아웃에 현재 프로젝션 함수를 기반으로 새로운 데이터 포인트를 외삽 기반으로 매핑하는 외삽 투영 기법을 사용한다.
• 기존에 프로젝션된 인스턴스의 위치를 새로 업데이트된 프로젝션 함수에 맞게 동적으로 조정하는 새로운 재투영 전략을 도입한다.
• 원본 고차원 데이터에 대한 저장 또는 반복 액세스 없이 단일 패assing으로 데이터를 처리한다.
• 증분 학습과 적응형 레이아웃 정밀화를 결합하여 시간이 지남에 따라 전역 거리 관계를 유지한다.
• 계산 오버헤드를 최소화하고 실시간 업데이트를 가능하게 하여 스트리밍 워크로드에 최적화된 알고리즘 설계를 한다.

실험 결과

연구 질문

• RQ1 기존의 고차원 데이터를 다시 방문하지 않고도 새로운 구조적 패턴에 대응하여 이전에 프로젝션된 데이터 포인트를 업데이트할 수 있는 다차원 투영 기법은 가능한가?
• RQ2 기존의 스트리밍 및 증분 기법과 비교할 때, 제안된 방법은 전역 거리 유지 및 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 시간이 지남에 따라 변화하는 데이터 구조를 반영하기 위해 프로젝션 함수를 진화시킬 수 있으며, 이때도 시각적 정밀도를 유지할 수 있는가?
• RQ4 스트리밍 환경에서 정밀도와 성능 간의 상충 관계는 무엇이며, 이를 대규모 실시간 응용에 최적화할 수 있는가?

주요 결과

• Xtreaming은 스트레스 지표로 측정했을 때, LLE 및 ISOMAP와 같은 최첨단 외삽 기법과 유사한 수준의 전역 거리 유지 성능을 달성한다.
• 기존의 온라인 및 증분 투영 기법보다 수개의 주기만큼 더 빠르며, 스트리밍 환경에서 지연 시간을 크게 감소시킨다.
• Xtreaming은 이전에 프로젝션된 인스턴스를 새로운 프로젝션 함수에 맞게 재정렬하여, 비적응형 방법에서 흔히 발생하는 시각적 아티팩트를 제거한다.
• 이 기법은 실시간으로 변화하는 데이터 구조(예: 소셜 미디어나 센서 데이터 스트림에서 나타나는 새로운 클러스터)를 신뢰성 있게 시각화할 수 있다.
• 작은 데이터셋에서는 t-SNE와 같은 인사이트 기반 방법보다 느리고 정확도가 낮지만, 이는 스트리밍 확장성 확보를 위한 의도된 트레이드오프이다.
• 실제로도 강건한 성능을 보이며, 고속도 데이터 스트림을 손실 없이 처리하기 위해 하드웨어 최적화된 배포가 가능하다.