[論文レビュー] High Fidelity Visualization of What Your Self-Supervised Representation Knows About

Florian Bordes, Randall Balestriero+1 more|arXiv (Cornell University)|Dec 16, 2021

Generative Adversarial Networks and Image Synthesis被引用数 11

ひとこと要約

この論文は、自己教師あり表現空間を高精細な画像空間に可視化するための表現条件付き拡散モデル（RCDM）を導入し、学習済み表現に条件付けられた入力の忠実な再構成を可能にする。この手法により、SSLバックボーンがデータ拡張に対して不変でないことが明らかになった一方で、ポストプロジェクターフィーチャーは不変であることが示され、SSL表現が adversarial パーティクルに対してより頑健であり、構造的かつ操作可能な特徴を示すことが明らかになった。

ABSTRACT

Discovering what is learned by neural networks remains a challenge. In self-supervised learning, classification is the most common task used to evaluate how good a representation is. However, relying only on such downstream task can limit our understanding of what information is retained in the representation of a given input. In this work, we showcase the use of a Representation Conditional Diffusion Model (RCDM) to visualize in data space the representations learned by self-supervised models. The use of RCDM is motivated by its ability to generate high-quality samples -- on par with state-of-the-art generative models -- while ensuring that the representations of those samples are faithful i.e. close to the one used for conditioning. By using RCDM to analyze self-supervised models, we are able to clearly show visually that i) SSL (backbone) representation are not invariant to the data augmentations they were trained with -- thus debunking an often restated but mistaken belief; ii) SSL post-projector embeddings appear indeed invariant to these data augmentation, along with many other data symmetries; iii) SSL representations appear more robust to small adversarial perturbation of their inputs than representations trained in a supervised manner; and iv) that SSL-trained representations exhibit an inherent structure that can be explored thanks to RCDM visualization and enables image manipulation.

研究の動機と目的

• 自己教師あり表現学習における視覚的解釈可能性の欠如、特に再構成や生成と直接結びつかない表現に対して、その問題を解決すること。
• 自己教師あり表現が、SSLの根幹をなす仮定であるデータ拡張に対して真に不変であるかどうかを調査すること。
• 自己教師あり表現が、教師あり表現と比較して、小さな adversarial パーティクルに対してどれほど頑健であるかを調査すること。
• 自己教師あり表現に、意味のある画像操作を可能にする構造的かつ分離可能な要因が含まれているかどうかを解明すること。
• 学習済み表現に条件付けられた高精細な生成を用いて、モデルの失敗要因を診断するためのツールを提供すること。

提案手法

• 著者らは、生成された画像の表現が入力の条件付けベクトルと密接に一致するように、表現ベクトルに条件付けられた高精細な画像を生成する条件付き拡散モデル（RCDM）を採用している。
• RCDMは、生成画像と条件付け表現との間の表現距離を最小化するように学習され、忠実度を強制するためのコントラスト型目的関数が用いられている。
• この手法は、ResNet50 やビジョントランスフォーマー（ViT）バックボーンから抽出された特徴に条件付けられており、未学習、教師あり、自己教師ありのモデルを含む。
• このアプローチにより、条件付き生成を通じて表現空間のプローブが可能となり、物体の識別、背景、色といった分離可能な要因の操作が可能になる。
• RCDMは、複数の訓練段階（1, 5, 50エポック）にわたって適用され、学習された特徴の時間的変化を可視化している。
• 本手法はImageNetおよび実世界の画像（例：NASAの地球の画像）で検証されており、拡張スキームに関するアブレーションスタディが実施されている。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり表現は、色のジャマやクロッピングなどのデータ拡張に対して真に不変であるのか？
• RQ2 自己教師ありモデルのバックボーンが学習する表現と、教師ありモデルの表現とを比較した場合、adversarial パーティクルに対してどの程度頑健であるか？
• RQ3 自己教師あり表現には、新しい画像コンpositionsを生成するために操作可能な構造的・分離可能な要因が含まれているのか？
• RQ4 訓練過程において表現はどのように進化するのか？どのような特徴が最初に学習されるのか？
• RQ5 表現からの高精細な生成により、色ベースの記憶化のような隠れたバイアスや過学習が明らかになるのか？

主な発見

• 自己教師ありバックボーンの表現は、データ拡張に対して不変ではなく、広く信じられているが誤った仮定に反する。
• ポストプロジェクターフィーチャーは、データ拡張や他の対称性に対して強い不変性を示し、プロジェクタが不変性を達成する役割を果たしていることを確認した。
• 条件付き生成を用いた実験により、自己教師あり表現は教師あり表現よりも小さな adversarial パーティクルに対して顕著に頑健であることが示された。
• RCDMによって生成された画像は、物体の識別や背景といった構造的・分離可能な要因が自己教師あり表現にエンコードされていることを明らかにした。これにより、背景の置き換えのような新しい画像操作が可能になった。
• 色拡張を用いずに自己教師ありモデルを訓練すると、表現が色とテクスチャの統計を記憶してしまうことが判明した。RCDMのサンプルでは色は保持されるが、形状の再構成に失敗していることから、その事実が裏付けられた。
• 訓練過程において、自己教師あり表現は最初の1エポックで色とテクスチャ情報をエンコードし、形状の詳細は5〜50エポック目になってから徐々に現れるようになる。これは、構造的特徴の段階的学習を示している。