[論文レビュー] Hyperbolic Contrastive Learning

Yue Yun, Fangzhou Lin+2 more|arXiv (Cornell University)|Feb 2, 2023

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、画像埋め込みを双曲空間に射影することで階層的データ構造をより効果的に捉えることのできる、自己教師あり対照学習フレームワーク「双曲対照学習（HCL）」を提案する。勾配ベース最適化を可能にするポアンカレモデルを活用することで、ユークリッド空間の対照学習と比較して、下流分類精度が向上し、敵対的攻撃に対する耐性も向上する。$υ_{\infty}$ 攻撃下での CIFAR-10 における敵対的耐性は 29.94% を達成した。

ABSTRACT

Learning good image representations that are beneficial to downstream tasks is a challenging task in computer vision. As such, a wide variety of self-supervised learning approaches have been proposed. Among them, contrastive learning has shown competitive performance on several benchmark datasets. The embeddings of contrastive learning are arranged on a hypersphere that results in using the inner (dot) product as a distance measurement in Euclidean space. However, the underlying structure of many scientific fields like social networks, brain imaging, and computer graphics data exhibit highly non-Euclidean latent geometry. We propose a novel contrastive learning framework to learn semantic relationships in the hyperbolic space. Hyperbolic space is a continuous version of trees that naturally owns the ability to model hierarchical structures and is thus beneficial for efficient contrastive representation learning. We also extend the proposed Hyperbolic Contrastive Learning (HCL) to the supervised domain and studied the adversarial robustness of HCL. The comprehensive experiments show that our proposed method achieves better results on self-supervised pretraining, supervised classification, and higher robust accuracy than baseline methods.

研究の動機と目的

• 視覚分野で一般的な社会的ネットワークや脳画像などに見られる階層的データ構造をモデル化する際、ユークリッド空間の限界を解消すること。
• 双曲空間の指数的体積増加と木構造的な幾何学的性質を活用することで、対照的表現学習がどのように向上するかを調査すること。
• 敵対的攻撃に対して一般化性能に優れる自己教師あり事前学習手法を開発すること。
• HCLを教師ありおよび敵対的耐性向上の設定に拡張し、下流タスクにおける優位性を実証すること。

提案手法

• 勾配ベース最適化が可能なポアンカレ球モデルを用いて、画像埋め込みを双曲空間に射影する。
• ユークリッド空間のドット積類似度を、階層的関係をより適切にモデル化できる双曲距離に基づく対照損失に置き換える。
• クラスレベルの教師信号を用いた教師あり設定に適応した対照的目的を採用することで、教師あり双曲対照学習（SHCL）を導入する。
• HCLと敵対的訓練を組み合わせることで、$υ_{\infty}$ 攻撃に対する耐性を向上させる、耐性向上型双曲対照学習（RHCL）を提案する。
• 学習の安定化と双曲空間内での表現品質の向上を図るため、曲率調整および正規化層を導入する。
• 標準的なデータ拡張（例：クロップ、カラーのジャマ）と、双曲幾何に適応したInfoNCE損失を用いて、自己教師あり事前学習を実施する。

Figure 1 : The geodesics (red curve) of two points ( $A,B$ ) of the Poincaré disk. The blue line is the straight line between $A,B$ that is no longer the shortest distance. The relative size of objects in this disk is getting smaller while the distance of points increases exponentially (relative to

実験結果

リサーチクエスチョン

• RQ1 双曲空間は、ユークリッド空間と比較して階層的データ構造をより効果的に捉えることで、対照的自己教師ありモデルの表現学習を向上させることができるか？
• RQ2 双曲空間の曲率は、画像表現学習における対照学習の性能にどのように影響を与えるか？
• RQ3 標準的なユークリッド空間の対照学習と比較して、双曲対照学習は下流分類タスクへの一般化性能に優れているか？
• RQ4 双曲対照学習は、教師ありおよび敵対的耐性向上の設定に拡張可能であり、性能向上をもたらすか？
• RQ5 自己教師あり表現学習において、双曲空間はユークリッド空間と比較して敵対的攻撃に対してより耐性があるか？

主な発見

• HCLは曲率 $c = 0.6$ の設定で、CIFAR-10 において 87.98% の線形評価精度を達成し、他の曲率設定を上回った。
• ポアンカレ射影の前処理としての正規化が極めて重要であり、これを削除するとCIFAR-10の精度は 87.98% から 85.37% に低下した。
• RHCLは $υ_{\infty}$ ホワイトボックス攻撃下でCIFAR-10で 29.94% の敵対的耐性を達成し、SimCLR や RoCL を上回った。
• 敵対的微調整を組み合わせたRHCL+ATでは、32.61% の敵対的耐性を達成し、自己教師あり学習と敵対的訓練を統合することでさらなる性能向上が示された。
• SHCLは複数のベンチマークデータセットで、標準的な教師あり対照学習を上回る性能を示し、教師あり設定における双曲幾何の利点を裏付けた。
• 提案されたHCLフレームワークは、自己教師ありおよび教師あり事前学習の両方で一貫した向上を示し、階層的視覚表現学習において双曲空間の優位性を確認した。

Figure 2 : Overview of the proposed HCL . Different image augmentations are applied to the same image first. After going through the encoder network, the vectors are then projected into a latent space with a fully connected (FC) layer. Different from the general contrastive learning (dashed line) th