[論文レビュー] Linear tSNE optimization for the Web.

Nicola Pezzotti, Alexander Mordvintsev+4 more|arXiv (Cornell University)|May 28, 2018

Tensor decomposition and applications被引用数 6

ひとこと要約

この論文は、WebGLとTensorFlow.jsを用いた線形計算量のtSNE最適化を提案し、適応解像度テクスチャを用いた反発力の近似とブラウザ内でのテンソル演算の高速化により、大規模データセットにおいてもリアルタイムでクライアントサイドでtSNE可視化を実現する。この方法により、サーバーサイドの計算を一切不要とし、従来のスケーラブルなtSNE手法を上回るインタラクティブなパフォーマンスを達成する。

ABSTRACT

The t-distributed Stochastic Neighbor Embedding (tSNE) algorithm has become in recent years one of the most used and insightful techniques for the exploratory data analysis of high-dimensional data. tSNE reveals clusters of high-dimensional data points at different scales while it requires only minimal tuning of its parameters. Despite these advantages, the computational complexity of the algorithm limits its application to relatively small datasets. To address this problem, several evolutions of tSNE have been developed in recent years, mainly focusing on the scalability of the similarity computations between data points. However, these contributions are insufficient to achieve interactive rates when visualizing the evolution of the tSNE embedding for large datasets. In this work, we present a novel approach to the minimization of the tSNE objective function that heavily relies on modern graphics hardware and has linear computational complexity. Our technique does not only beat the state of the art, but can even be executed on the client side in a browser. We propose to approximate the repulsion forces between data points using adaptive-resolution textures that are drawn at every iteration with WebGL. This approximation allows us to reformulate the tSNE minimization problem as a series of tensor operation that are computed with TensorFlow.js, a JavaScript library for scalable tensor computations.

研究の動機と目的

• tSNEの高い計算複雑性が大規模データセットへの応用を制限するのを克服すること。
• 大規模データに対して、ウェブブラウザ内で直接インタラクティブでリアルタイムのtSNE可視化を可能にすること。
• グラフィックスハードウェアの加速を活用して力の計算を再定式化し、tSNE最適化の時間コストを低減すること。
• 埋め込みの品質を維持しつつ、tSNE最小化において線形計算複雑性を達成すること。
• サーバーサイドの依存関係が不要なクライアントサイドプラットフォームでも高度なtSNE可視化を可能にすること。

提案手法

• 各最適化イテレーションにおいて、WebGLでレンダリングされる適応解像度テクスチャを用いてtSNEの反発力を近似すること。
• tSNEの目的関数最小化を、TensorFlow.jsで実行される一連のテンソル演算に再定式化すること。
• 高次元データにおける対間相互作用の計算を、現代のグラフィックスハードウェアで高速化すること。
• データポイント間の力の寄与を効率的に表現・更新するためのテクスチャベースのデータ構造を用いること。
• WebGLレンダリングとJavaScriptベースのテンソル計算を統合し、クライアントサイド実行を可能にすること。
• GPU加速テクスチャサンプリングと補間を用いて、メモリアクセスと計算を最適化すること。

実験結果

リサーチクエスチョン

• RQ1 クライアントサイドのウェブテクノロジのみを用いて、tSNE最適化をインタラクティブな速度に加速できるか？
• RQ2 tSNEの計算複雑性を、埋め込みの品質を維持したまま線形時間に低減できるか？
• RQ3 適応解像度テクスチャ近似が、tSNEにおける正確な力の計算に効果的に置き換えられるか？
• RQ4 サーバーサイド支援なしに、ブラウザ内で完全なtSNE最適化を実行するのは可能か？
• RQ5 この手法のパフォーマンスは、既存のスケーラブルなtSNEバリアントと比較して、速度とスケーラビリティの面で優れているか？

主な発見

• 提案手法は線形計算複雑性を達成し、従来のtSNEと比較して時間コストを顕著に低減した。
• この手法により、大規模データセットでさえもブラウザ内でリアルタイムのtSNE可視化が可能になった。
• WebGLとTensorFlow.jsによる効率的なGPU加速計算のおかげで、クライアントサイド実行が可能となった。
• 適応解像度テクスチャの使用により、最小限の品質損失で反発力のスケーラブルな近似が実現された。
• 大規模データにおいて、既存のスケーラブルなtSNE手法を上回る速度とインタラクティビティを示した。
• 複雑な機械学習最適化を、現代のウェブAPIを活用して効果的にクライアントにオフロードできることが示された。