[論文レビュー] Embedding Projector: Interactive Visualization and Interpretation of Embeddings

Daniel Smilkov, Nikhil Thorat+4 more|arXiv (Cornell University)|Nov 16, 2016

Data Visualization and Analytics参考文献 7被引用数 154

ひとこと要約

ウェブベースのインタラクティブツールで高次元埋め込みを可視化・解釈し、ローカル近傍探索、グローバル幾何学の検査、有意義な方向の発見をサポートします。 PCA、t-SNE、カスタム投影を統合し、TensorFlowと統合。

ABSTRACT

Embeddings are ubiquitous in machine learning, appearing in recommender systems, NLP, and many other applications. Researchers and developers often need to explore the properties of a specific embedding, and one way to analyze embeddings is to visualize them. We present the Embedding Projector, a tool for interactive visualization and interpretation of embeddings.

研究の動機と目的

• 高次元埋め込みの対話的可視化プラットフォームを提供する。
• モデルへの信頼を築くために、局所的な近傍とグローバルな幾何を探索できるようにする。
• 埋め込み空間内で意味的に意味のある方向の発見を支援する。
• テンソルとモデルチェックポイントの容易な可視化のためにTensorFlowと統合する。
• 共有可能な可視化状態を通じたコラボレーションを促進する。

提案手法

• 滑らかな相互作用のための2D/3DビューとWebGLを備えたWebベースのEmbedding Projector。
• 三次元削減オプション: PCA（トップ10成分）およびt-SNE（2D/3D）。
• テキスト検索や正規表現マッチからの中心差分により、ユーザー定義の方向によるカスタム線形投影。
• 連結ビュー：データパネル、投影パネル、最近傍検索を含むインスペクタ。
• フォーカス分析のためにサブセットを分離して再投影する選択ツール。
• 埋め込み座標とブックマークを含む共有可能な状態ファイルによるコラボレーション。

実験結果

リサーチクエスチョン

• RQ1 高次元埋め込みのある点の周辺局所近傍を、ユーザーはどのように効果的に探索できるか？
• RQ2 次元削減を用いた埋め込みにおいて、どのようなグローバルな幾何構造やクラスタが観察できるか？
• RQ3 シンプルなヒューリスティック投影を通じて、埋め込み空間に意味のある方向ベクトルをユーザーは特定できるか？
• RQ4 インタラクティブな可視化ツールは機械学習の埋め込みの信頼性と解釈にどのように寄与するか？
• RQ5 このツールはTensorFlowとどのように統合してモデルチェックポイントとテンソルを可視化できるか？

主な発見

• Embedding Projectorは滑らかなWebGLパフォーマンスで対話的な2D/3D可視化を可能にします。
• 最近傍リストと対話的な選択ツールを介して局所的な近傍の探索をサポートします。
• グローバルな幾何とクラスタを調べるための複数のビュー（PCA、t-SNE）を提供します。
• 検索語を指定することでカスタム投影軸を作成し、意味のある方向を明らかにします。
• ツールはTensorFlowと統合され、モデルチェックポイントから導出された埋め込みの可視化を可能にします。
• ブックマーク可能なビュー設定を通じた可視化状態の共同共有をサポートします。