[논문 리뷰] Visualizing and Exploring Dynamic High-Dimensional Datasets with LION-tSNE

Andrey Boytsov, François Fouquet외 2명|arXiv (Cornell University)|2017. 08. 16.

Neural Networks and Applications참고 문헌 7인용 수 13

한 줄 요약

이 논문은 국소 보간과 이상치 제어를 통해 새로운 데이터 포인트를 동적으로 통합함으로써 t-SNE 시각화를 업데이트하는 LION-tSNE를 제안한다. 이는 클러스터 구조를 유지하면서도 이상치를 정확히 분리함으로써 진화하는 고차원 데이터셋에 대해 강력하고 실시간으로 시각화할 수 있도록 하며, 기존의 보간 및 근사 기법들보다 정확도와 이상치 탐지에서 뛰어난 성능을 보인다.

ABSTRACT

T-distributed stochastic neighbor embedding (tSNE) is a popular and prize-winning approach for dimensionality reduction and visualizing high-dimensional data. However, tSNE is non-parametric: once visualization is built, tSNE is not designed to incorporate additional data into existing representation. It highly limits the applicability of tSNE to the scenarios where data are added or updated over time (like dashboards or series of data snapshots). In this paper we propose, analyze and evaluate LION-tSNE (Local Interpolation with Outlier coNtrol) - a novel approach for incorporating new data into tSNE representation. LION-tSNE is based on local interpolation in the vicinity of training data, outlier detection and a special outlier mapping algorithm. We show that LION-tSNE method is robust both to outliers and to new samples from existing clusters. We also discuss multiple possible improvements for special cases. We compare LION-tSNE to a comprehensive list of possible benchmark approaches that include multiple interpolation techniques, gradient descent for new data, and neural network approximation.

연구 동기 및 목표

• 기존의 t-SNE가 동적 또는 스트리밍 데이터를 처리하는 데에 한계를 보이는 점, 즉 기존 시각화에 새로운 샘플을 쉽게 추가할 수 없는 점을 해결하기 위해.
• 새로운 데이터 포인트가 도입될 때 클러스터 구조를 유지하고 시각적 정밀도를 유지할 수 있는 방법을 개발하기 위해.
• 기존 보간 기법들이 자주 처리하지 못하는 이상치에 대한 강건성을 향상시키기 위해.
• 기울기 하강법, 신경망, 다양한 보간 기법을 포함한 포괄적인 벤치마크 접근법과의 체계적 평가를 제공하기 위해.
• 다이어그램, 시계열 데이터, 진화하는 데이터셋과 같은 응용 분야에서 상호작용적이고 실시간 데이터 탐색을 가능하게 하기 위해.

제안 방법

• LION-tSNE는 기존의 t-SNE 임베딩 공간에 새로운 샘플을 기존 훈련 데이터 포인트 주변의 국소 보간을 통해 매핑한다.
• 근접도 가중치(Weighted Inverse Distance, IDW)를 사용하며, 유한한 반경 내에서만 영향을 미치도록 하며, 반경 r을 초과하면 정규화 및 전이 함수를 통해 영향을 0으로 줄인다.
• 이상치 탐지는 훈련 세트 내에서 근접한 이웃이 없는 포인트를 식별함으로써 수행되며, 이러한 포인트들은 임베딩 공간 내에서 무작위로 분리된 위치로 매핑된다.
• 클러스터 간 잘못된 보간을 방지하기 위해, y-공간에서 이웃 간의 공간적 거리를 점검한다; 만약 거리가 임계값을 초과하면 가장 먼 이웃은 보간에서 제외된다.
• 기존 t-SNE 임베딩을 재사용함으로써 점진적 업데이트를 지원하며, 새로운 데이터에 대해서만 새 위치를 계산함으로써 전체 재학습을 방지한다.
• 변형된 버전은 이상치의 소규모 위치 변화를 추적할 수 있도록, 변화가 정의된 반경 내에 있을 경우 이전 위치 근처로 재위치시킨다.

실험 결과

연구 질문

• RQ1 반경 기반 가중치를 사용한 국소 보간은 기존 t-SNE 시각화에 새로운 데이터를 매핑하는 데 안정적이고 정확한 방법을 제공할 수 있는가?
• RQ2 새로운 데이터 포인트가 기존 클러스터에 属할 경우 LION-tSNE는 클러스터 구조를 얼마나 잘 유지하는가?
• RQ3 임베딩 정확도와 이상치 분리 측면에서 LION-tSNE는 다른 보간 및 근사 기법들보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 예를 들어 데이터 포인트가 클러스터 간을 이동할 때 발생하는 공간 클러스터 전이 효과가 임베딩의 안정성과 정확성에 어떤 영향을 미치는가?
• RQ5 훈련 포인트에 대한 거리에 따라 이상치 처리를 어떻게 개선하여 시간에 따라 소규모 위치 변화를 추적할 수 있는가?

주요 결과

• 평가에서 LION-tSNE는 모든 벤치마크 방법 중에서 가장 높은 정확도를 기록했으며, 주요 정확도 지표에서 최고 성능을 보인 대안과 동률을 기록했다.
• 이상치 분리 측면에서 가장 뛰어난 성능을 보였으며, 이질적인 클러스터와의 이상치 간 분리가 뚜렷하게 이루어졌고, 다른 방법들은 일관되게 이를 달성하지 못했다.
• 기존 클러스터에서 온 새로운 데이터 포인트가 추가되더라도 안정적이고 의미 있는 클러스터 구조를 유지했으며, 왜곡을 방지했다.
• 공간 제약 조건이 있는 국소 보간을 사용함으로써 먼 포인트의 영향을 크게 감소시켜 강건성과 시각적 정밀도를 향상시켰다.
• 클러스터 간 전이에 대해 알고리즘이 뛰어난 저항성을 보였으며, 클러스터 소속이 변경될 경우 갑작스러운 임베딩 위치 변화를 겪었고, 잘못된 보간을 방지했다.
• 향후 향상 사항으로는 빠른 근접 이웃 검색 기법이 대규모 데이터셋의 확장성 향상에 기여할 것으로 기대되나, 현재 구현체는 이미 실시간 업데이트를 지원한다.