[論文レビュー] No Free Lunch in Self Supervised Representation Learning

Ihab Bendidi, Adrien Bardes+4 more|arXiv (Cornell University)|Apr 23, 2023

Cell Image Analysis Techniques被引用数 9

ひとこと要約

この論文は、自己教師付き表現学習（SSRL）におけるデータ拡張の選択、強度、組み合わせが弱い教師付けの一形態として機能し、クラスレベルの結果と下流タスクを偏らせることを示しており、ドメイン依存的な効果を示す。特に顕著なのは顕微鏡画像で、ドメイン専門知識が性能を劇的に向上させる可能性がある。

ABSTRACT

Self-supervised representation learning in computer vision relies heavily on hand-crafted image transformations to learn meaningful and invariant features. However few extensive explorations of the impact of transformation design have been conducted in the literature. In particular, the dependence of downstream performances to transformation design has been established, but not studied in depth. In this work, we explore this relationship, its impact on a domain other than natural images, and show that designing the transformations can be viewed as a form of supervision. First, we demonstrate that not only do transformations have an effect on downstream performance and relevance of clustering, but also that each category in a supervised dataset can be impacted in a different way. Following this, we explore the impact of transformation design on microscopy images, a domain where the difference between classes is more subtle and fuzzy than in natural images. In this case, we observe a greater impact on downstream tasks performances. Finally, we demonstrate that transformation design can be leveraged as a form of supervision, as careful selection of these by a domain expert can lead to a drastic increase in performance on a given downstream task.

研究の動機と目的

• transformation designがSSRLのクラスレベルの性能にどう影響するかを調査する。
• 下流タスク（クラスタリングや分類など）に対する拡張の選択の影響を評価する。
• 自然画像と顕微鏡画像で拡張効果の違いを検討する。
• ドメイン専門家による拡張設計が難易度の高いドメインでSSRLの成果を顕著に向上させ得ることを示す。

提案手法

• ResNet18を用いたCIFAR-10/100およびImageNet-100で、SSRLの共通拡張に対して振幅と確率という変換強度を体系的に変化させる。
• 変化させた拡張の下で複数のSSRL手法（Barlow Twins, MoCo v2, BYOL, SimCLR, VICReg）を訓練する。
• 異なる拡張下での各クラス精度の相関を用いてクラス間偏りを計算し、クラスレベルの性能変化を定量化する。
• MoCo v2をVGGベースのエンコーダでMNISTに適用し、異なる変換セットがクラスタリング品質（シルエット、AMI）と線形評価にどのように影響するかを分析する。
• BBBC021v1の顕微鏡画像をVGG13とMoCo v2で研究し、拡張選択が細かな差異の下で細胞表現型のAMIベースのクラスタリングに与える影響を評価する。
• ドメイン専門家による拡張設計が、難易度の高い領域で事前学習済み教師ありベースラインを上回る可能性を示す。

Figure 1: A t-SNE projection of the ten-class clustering of the MNIST dataset (LeCun et al., 1998 ) performed on two representations obtained from two self-supervised trainings of the same model using MoCo V2 (Chen et al., 2020b ) , with the sole distinction being the selection of transformations em

実験結果

リサーチクエスチョン

• RQ1 拡張の強度または組成の変化がSSRL表現にクラス間バイアスを生じさせるか。
• RQ2 標準ベンチマークにおけるクラスタリングや線形評価など、下流タスクに対する拡張の選択がどのように影響するか。
• RQ3 特に顕微鏡画像でクラス差が微妙な場合、拡張のドメイン特有の効果はあるか。
• RQ4 ドメイン専門家による拡張選択が、標準の事前学習済みモデルを超えるSSRL表現を意味的に改善できるか。

主な発見

• 拡張パラメータは、全体の精度が安定していてもクラスごとの精度に意味のある変動を引き起こす可能性がある。
• 特定の拡張パラメータ下で、特定のクラスが利益を得たり不利になったりするため、クラス間バイアスを示す。
• 異なる下流タスク（クラスタリング vs. 線形精度）は、拡張設計と組成に対して異なる反応を示す。
• 顕微鏡データでは変換の選択が大きな影響を与え、いくつかの拡張セットは難易度の高い差異に対して事前学習済みResNet101に匹敵するAMIスコアを生み出す。
• ドメインの専門家は、クラスタリングと表現型の下流分離を上回る拡張組み合わせを設計できる。

Figure 2: Inter-class accuracy results for Resnet18 architectures trained with various SSRL methods on the benchmark datasets Cifar10, Cifar100 and Imagenet100, as the parameters of different image transformations are varied. Each dot and associated error bar reflects the mean and standard deviation