[논문 리뷰] Linear tSNE optimization for the Web.

Nicola Pezzotti, Alexander Mordvintsev외 4명|arXiv (Cornell University)|2018. 05. 28.

Tensor decomposition and applications인용 수 6

한 줄 요약

이 논문은 WebGL과 TensorFlow.js를 사용한 선형 복잡도 tSNE 최적화를 제안하여, 적응형 해상도 텍스처를 통해 반발력 힘을 근사하고 브라우저에서 텐서 연산을 가속화함으로써 대규모 데이터셋에서 실시간으로 클라이언트 측에서 tSNE 시각화를 가능하게 한다. 이 방법은 서버 측 계산 없이도 상호작용 가능한 성능을 달성하며, 이전의 확장 가능한 tSNE 접근 방식보다 뛰어나다.

ABSTRACT

The t-distributed Stochastic Neighbor Embedding (tSNE) algorithm has become in recent years one of the most used and insightful techniques for the exploratory data analysis of high-dimensional data. tSNE reveals clusters of high-dimensional data points at different scales while it requires only minimal tuning of its parameters. Despite these advantages, the computational complexity of the algorithm limits its application to relatively small datasets. To address this problem, several evolutions of tSNE have been developed in recent years, mainly focusing on the scalability of the similarity computations between data points. However, these contributions are insufficient to achieve interactive rates when visualizing the evolution of the tSNE embedding for large datasets. In this work, we present a novel approach to the minimization of the tSNE objective function that heavily relies on modern graphics hardware and has linear computational complexity. Our technique does not only beat the state of the art, but can even be executed on the client side in a browser. We propose to approximate the repulsion forces between data points using adaptive-resolution textures that are drawn at every iteration with WebGL. This approximation allows us to reformulate the tSNE minimization problem as a series of tensor operation that are computed with TensorFlow.js, a JavaScript library for scalable tensor computations.

연구 동기 및 목표

• 대규모 데이터셋에서의 tSNE 계산 복잡도가 높아지는 문제를 해결하기 위해.
• 대규모 데이터에서 웹 브라우저 내에서 실시간으로 상호작용 가능한 tSNE 시각화를 가능하게 하기 위해.
• 그래픽스 하드웨어 가속을 통해 힘 계산을 재구성하여 tSNE 최적화의 시간 소모를 줄이기 위해.
• 임bedding 품질을 유지하면서 tSNE 최소화 과정에서 선형 계산 복잡도를 달성하기 위해.
• 서버 측 종속 없이 클라이언트 측 플랫폼에서 고급 tSNE 시각화를 가능하게 하기 위해.

제안 방법

• 각 최적화 반복 단계에서 WebGL을 통해 렲상된 적응형 해상도 텍스처를 사용하여 tSNE의 반발력 힘을 근사하기.
• tSNE 목표 최소화를 TensorFlow.js를 사용해 실행하는 텐서 연산의 시퀀스로 재구성하기.
• 고차원 데이터의 상호작용 계산을 가속하기 위해 현대적인 그래픽스 하드웨어를 활용하기.
• 데이터 포인트 간 힘 기여를 효율적으로 표현하고 업데이트하기 위해 텍스처 기반 데이터 구조 사용하기.
• WebGL 렲상과 자바스크립트 기반 텐서 계산을 통합하여 클라이언트 측 실행 가능하게 하기.
• GPU 가속 텍스처 샘플링과 보간을 통해 메모리 접근 및 계산 최적화하기.

실험 결과

연구 질문

• RQ1 클라이언트 측 웹 기술만을 사용하여 tSNE 최적화를 상호작용 가능한 속도로 가속화할 수 있는가?
• RQ2 임베딩 품질을 유지하면서 tSNE의 계산 복잡도를 선형 시간으로 줄일 수 있는가?
• RQ3 적응형 해상도 텍스처 근사가 tSNE에서 정확한 힘 계산을 효과적으로 대체할 수 있는가?
• RQ4 서버 측 지원 없이 브라우저에서 전체 tSNE 최적화를 수행하는 것이 가능한가?
• RQ5 기존의 확장 가능한 tSNE 변형과 비교할 때 이 방법의 속도 및 확장성 측면에서 성능는 어떻게 되는가?

주요 결과

• 제안된 방법은 선형 계산 복잡도를 달성하여 기존 tSNE에 비해 시간 소모를 크게 감소시켰다.
• 이 기법은 대규모 데이터셋에 대해서도 브라우저 내에서 실시간 tSNE 시각화를 가능하게 했다.
• WebGL과 TensorFlow.js를 통한 효율적인 GPU 가속 계산 덕분에 클라이언트 측 실행이 가능했다.
• 적응형 해상도 텍스처의 사용은 품질 손실이 최소한이면서도 반발력 힘의 스케일러블한 근사를 제공했다.
• 대규모 데이터에서 기존의 확장 가능한 tSNE 방법들보다 속도와 상호작용성 측면에서 뛰어난 성능을 보였다.
• 이 방법은 현대 웹 API를 활용해 복잡한 머신러닝 최적화를 클라이언트 측으로 효과적으로 이관할 수 있음을 보여주었다.