[論文レビュー] Unsupervised visualization of image datasets using contrastive learning

Jan Niklas Böhm, Philipp Berens+1 more|arXiv (Cornell University)|Oct 18, 2022

Data Visualization and Analytics被引用数 6

ひとこと要約

本論文では、教師なしで画像データセットを可視化するパラメトリックな2次元埋め込みネットワークを学習する、対照的学習に基づくt-SimCNEを提案する。SimCLR風の対照的事前学習とt-SNE風の近傍モデリングを2次元空間で組み合わせることで、t-SimCNEはSOTAのk-NN分類精度（CIFAR-10で89%、CIFAR-100で51%）を達成するとともに、サンプル外推論を可能にし、意味的に意味のある、解釈可能な画像クラスタ、アーティファクト、外れ値の可視化を生成する。

ABSTRACT

Visualization methods based on the nearest neighbor graph, such as t-SNE or UMAP, are widely used for visualizing high-dimensional data. Yet, these approaches only produce meaningful results if the nearest neighbors themselves are meaningful. For images represented in pixel space this is not the case, as distances in pixel space are often not capturing our sense of similarity and therefore neighbors are not semantically close. This problem can be circumvented by self-supervised approaches based on contrastive learning, such as SimCLR, relying on data augmentation to generate implicit neighbors, but these methods do not produce two-dimensional embeddings suitable for visualization. Here, we present a new method, called t-SimCNE, for unsupervised visualization of image data. T-SimCNE combines ideas from contrastive learning and neighbor embeddings, and trains a parametric mapping from the high-dimensional pixel space into two dimensions. We show that the resulting 2D embeddings achieve classification accuracy comparable to the state-of-the-art high-dimensional SimCLR representations, thus faithfully capturing semantic relationships. Using t-SimCNE, we obtain informative visualizations of the CIFAR-10 and CIFAR-100 datasets, showing rich cluster structure and highlighting artifacts and outliers.

研究の動機と目的

• ピクセル空間に直接適用された従来の近傍埋め込み手法（t-SNE や UMAP）が、ユークリッド距離が意味的類似度を反映しないことによる失敗を解消すること。
• ラベルを必要とせず、画像データの意味的関係を保持するパラメトリックな教師なし2次元埋め込み手法を開発すること。
• ピクセル空間から2次元への微分可能なマッピングを学習することで、非パラメトリック可視化手法の限界を克服し、サンプル外推論を可能にすること。
• 対照的学習（意味的表現学習）とt-SNE（2次元での近傍保存）の長所を統合した、一括で訓練可能なフレームワークを構築すること。

提案手法

• 本手法は、入力画像を2次元埋め込み空間にマップするためのResNetバックボーンと2次元プロジェクションヘッドを用いる。
• 同じ画像から正例ペアを生成するために、ランダムクロップやカラーディストラクションなどの標準的な増幅を適用する。
• 対照的損失は、InfoNCE目的関数を用いて最適化され、2次元埋め込み空間における増幅ビュー間の類似度を最大化する。
• 2次元類似度は、t-SNEのアプローチを模倣してコーシー（t分布）カーネルを用いてモデリングされ、局所的近傍構造の保存が図られる。
• 3段階の訓練プロトコルを採用する：128次元ヘッドを用いた1000エポックの事前学習、2次元リーデアウトのみの50エポックのファインチューニング、および450エポックのエンドツーエンドファインチューニング。
• 最終的なモデルはパラメトリックであるため、学習済みマッピングを直接適用することで、新しいサンプル（サンプル外）の画像の埋め込みが可能になる。

実験結果

リサーチクエスチョン

• RQ1 教師なしで、ラベルを一切使用せずに、高品質で解釈可能な2次元可視化を生成するため、対照的学習フレームワークをどのように適合できるか？
• RQ2 対照的学習で訓練された2次元パラメトリック埋め込みは、高次元のSimCLR表現と同等の意味的構造を効果的に保持できるか？
• RQ3 t-SimCNEは、SimCLR特徴に適用された非パラメトリック手法（t-SNE）と比較して、クラスタ分離度および外れ値検出において優れているか？
• RQ4 本手法は、CIFAR-10やCIFAR-100のようなデータセットにおける、細分化されたクラス、アーティファクト、異常を効果的に明らかにできるか？

主な発見

• t-SimCNEはCIFAR-10で89%、CIFAR-100で51%のk-NN分類精度を達成し、高次元のSimCLR表現と同等の性能を示した。
• 可視化結果は、明確に分離されたクラスと外れ値・アーティファクトを示す豊富なクラスタ構造を明らかにし、ピクセル空間のt-SNEではしばしば見逃される場合が多い。
• SimCLR特徴に適用されたt-SNEと比較して、t-SimCNEはより解釈可能な可視化を生成し、より明確なクラス境界と顕著な構造的詳細を示した。
• 本手法はサンプル外推論を可能にし、非パラメトリック可視化技術に比べて顕著な利点を有する。これにより、既存の2次元空間に新しい画像を埋め込むことが可能になった。
• 高次元特徴空間（H）における表現品質は、標準的なSimCLRに比べてわずかに劣るが、可視化の有用性の向上というトレードオフは正当化される。
• クラスタリングベースの調整ランダムインデックスの観点から、ImageNet事前学習済みResNet特徴にt-SNEを適用した場合と比較して、本手法は優れたクラス分離を示した。