[論文レビュー] SimTriplet: Simple Triplet Representation Learning with a Single GPU

Quan Liu, Peter C. Louis+10 more|arXiv (Cornell University)|Mar 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 5

ひとこと要約

SimTripletは、空間的に隣接するパッチをポジティブペアとして利用することで、負のサンプルを必要とせず、イントラサンプルおよびインターサンプルの類似度を最大化する、病理画像向けの単純なトリプレット対照学習手法を提案する。混合精度学習を用いて1つの16GB GPUで訓練された本手法は、教師あり学習よりも10.58%、SimSiamよりも2.13%高い性能を達成し、ラベル付きデータがたった1%の状況でも有効である。

ABSTRACT

Contrastive learning is a key technique of modern self-supervised learning. The broader accessibility of earlier approaches is hindered by the need of heavy computational resources (e.g., at least 8 GPUs or 32 TPU cores), which accommodate for large-scale negative samples or momentum. The more recent SimSiam approach addresses such key limitations via stop-gradient without momentum encoders. In medical image analysis, multiple instances can be achieved from the same patient or tissue. Inspired by these advances, we propose a simple triplet representation learning (SimTriplet) approach on pathological images. The contribution of the paper is three-fold: (1) The proposed SimTriplet method takes advantage of the multi-view nature of medical images beyond self-augmentation; (2) The method maximizes both intra-sample and inter-sample similarities via triplets from positive pairs, without using negative samples; and (3) The recent mix precision training is employed to advance the training by only using a single GPU with 16GB memory. By learning from 79,000 unlabeled pathological patch images, SimTriplet achieved 10.58% better performance compared with supervised learning. It also achieved 2.13% better performance compared with SimSiam. Our proposed SimTriplet can achieve decent performance using only 1% labeled data. The code and data are available at https://github.com/hrlblab/SimTriple.

研究の動機と目的

• リソース制限のある環境においても、特に医療画像分野における対照学習の高い計算コストとアクセスの難しさを是正すること。
• 標準的な自己増強を超えて、全スライド画像（WSI）が持つマルチビュー特性を活用し、近接するパッチをポジティブペアとして扱うこと。
• 隣接する組織パッチからのポジティブトリプレットペアに焦点を当てることで、対照学習における負のサンプルの必要性を排除すること。
• 混合精度学習を用いて16GBメモリの単一GPUで効果的な訓練が可能となるようにすることにより、医療AI研究のアクセス性を向上させること。
• 限られたラベル付きデータにおける本手法の性能を評価し、病理画像分類における強力な少サンプル一般化性能を示すこと。

提案手法

• 本手法は、同一パッチの2つの増強ビュー間の類似度（イントラサンプル）および隣接するパッチの2つのビュー間の類似度（インターサンプル）を最大化するトリプレットベースの損失関数を用いる。両者ともポジティブペアとして扱われる。
• コラプスを防ぐために勾配停止操作を適用するSimSiamスタイルのアーキテクチャを採用し、モーメンタムエンコーダーや負のペアを必要としない。
• 同じWSIからの隣接する画像パッチをポジティブペアとして使用し、空間的近接性を活かして意味的類似度を保証する。
• バッチサイズ128で、1つの16GB GPUを用いて混合精度学習により効率的かつメモリ使用効率を高めた訓練を実施する。
• 隣接ペアごとに3つの増強ビューを生成する：1つのパッチから2つ、隣接するパッチから1つを生成し、トリプレット入力を形成する。
• 最終的な損失関数は、イントラサンプルおよびインターサンプルの類似度目的を統合することで、特徴の識別性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 負のサンプルを排除した対照学習手法が、医療画像表現学習において優れた性能を達成できるか？
• RQ2 特に空間的に隣接するパッチを含む病理画像のマルチビュー特性が、自己教師付き表現学習の向上に有効に活用できるか？
• RQ3 16GBメモリの単一GPUで混合精度学習を用いて効率的に訓練可能でありながら、高い性能を維持できるか？
• RQ4 わずかに少数のラベル付きデータが利用可能な状況で、本手法の性能が教師あり学習およびSimSiamと比べてどのように異なるか？
• RQ5 イントラサンプル増強に加え、インターサンプルのポジティブペア（隣接パッチ）を組み込むことで、表現品質が向上するか？

主な発見

• SimTripletはマクロF1スコア0.6477、バランス精度0.7171を達成し、教師あり学習（F1: 0.5146、バランス精度: 0.6113）を10.58%上回る性能向上を達成した。
• 79,000枚の画像で訓練されたSimSiam（F1: 0.6267、バランス精度: 0.6988）を、F1スコアで2.13%、バランス精度で1.83%上回った。
• ラベル付きデータがたった1%の状況でも、バランス精度0.7090を達成し、SimSiam（0.7085）を上回り、強力な少サンプル一般化性能を示した。
• 1%から100%までの全データ比において高い性能を維持し、ラベル付きデータが25%の際にはバランス精度0.7280を記録した。これはデータ不足に対する高いロバスト性を示している。
• 隣接パッチペアをポジティブペアとして使用したことで、表現学習が顕著に向上した。これは、SimSiamおよび教師ありベースラインと比較して一貫した性能向上によって裏付けられた。
• 混合精度学習を用いて1つの16GB GPUで訓練した結果、最先端の性能が達成された。これは、高いアクセス性と効率性を示している。