[論文レビュー] Exploring Image Augmentations for Siamese Representation Learning with Chest X-Rays

Rogier van der Sluijs, Nandita Bhaskhar+3 more|arXiv (Cornell University)|Jan 30, 2023

COVID-19 diagnosis using AI被引用数 5

ひとこと要約

本論文は、チアックスレジストリー分析におけるシアンプス表現学習の最適な画像増強戦略を調査し、ランダムリサイズクロッピングに加えてノイズやソーベルフィルタリングなどの特定の増強を組み合わせることで、強固で一般化可能な表現が得られることを示している。これらの自己教師付き表現は、3つの大規模データセット（MIMIC-CXR、CheXpert、VinDr-CXR）において、ゼロショット転送および線形プローブの設定で、教師ありベースラインを最大20%上回る性能を発揮し、稀な病変や分布外の疾患に対しても優れた性能を示している。

ABSTRACT

Image augmentations are quintessential for effective visual representation learning across self-supervised learning techniques. While augmentation strategies for natural imaging have been studied extensively, medical images are vastly different from their natural counterparts. Thus, it is unknown whether common augmentation strategies employed in Siamese representation learning generalize to medical images and to what extent. To address this challenge, in this study, we systematically assess the effect of various augmentations on the quality and robustness of the learned representations. We train and evaluate Siamese Networks for abnormality detection on chest X-Rays across three large datasets (MIMIC-CXR, CheXpert and VinDR-CXR). We investigate the efficacy of the learned representations through experiments involving linear probing, fine-tuning, zero-shot transfer, and data efficiency. Finally, we identify a set of augmentations that yield robust representations that generalize well to both out-of-distribution data and diseases, while outperforming supervised baselines using just zero-shot transfer and linear probes by up to 20%. Our code is available at https://github.com/StanfordMIMI/siaug.

研究の動機と目的

• 多様な画像増強戦略が医療画像、特にチアックスレジストリーにおける自己教師付き表現学習に与える影響を評価すること。
• 自然画像の自己教師付き学習で用いられる標準的な増強技術が、医療画像にも一般化可能かどうかを特定すること。
• 学習された表現の多様なデータセットおよび下流タスクにおける頑健性と一般化性能を評価すること。
• ゼロショット、線形プローブ、ファインチューニングの設定下で、自己教師付き表現と教師ありベースラインの性能を比較すること。
• 希少疾患や分布外の病変に対して高精度で一般化可能な特徴を生成する最小限の増強セットを同定すること。

提案手法

• 本研究は、同一のチアックスレジストリーの正例ビューを生成するために、複数の増強ペアを用いたシアンプス対照的学習フレームワークを採用している。
• Pre-trainingは、MIMIC-CXRデータセットを用い、ランダムリサイズクロッピング、ノイズ、ソーベルフィルタリング、回転、歪みなどを含むさまざまな増強組み合わせで実施されている。
• 下流評価は、MIMIC-CXR、CheXpert、VinDr-CXRで線形プローブ、ゼロショット転送、ファインチューニング、データ効率実験を実施して行われている。
• 性能評価は、肺炎などの一般的な疾患と、肋骨骨折、結核などの希少疾患を含む複数の病変におけるマクロAUROCを用いて測定されている。
• 分布シフトおよびラベルドリフトの条件下でフレームワークを評価し、頑健性をテストしている。
• アブレーションスタディでは、異なる増強ペアと対照的学習のバリエーション（例：SimSiam、SimCLR、MoCo、DINO）を比較し、増強選択の影響を隔離している。

Figure 1: SimSiam architecture.

実験結果

リサーチクエスチョン

• RQ1 どの画像増強戦略が、チアックスレジストリーにおける自己教師付きシアンプス学習で最も頑健で一般化可能な表現を生み出すか？
• RQ2 異なる増強で学習された表現は、ゼロショットおよび線形プローブ設定で教師ありベースラインと比べてどのように異なるか？
• RQ3 これらの自己教師付き表現は、分布外疾患およびデータセットにどの程度一般化可能か？
• RQ4 増強の選択が、肋骨骨折や結核などの希少病変における性能にどのように影響するか？
• RQ5 1つのデータセット（例：MIMIC-CXR）で訓練された自己教師付き表現は、ファインチューニングなしで未観測のデータセット（例：VinDr-CXR）でも強力な性能を発揮できるか？

主な発見

• ランダムリサイズクロッピングが最も重要な増強であり、すべての下流タスクにおける最適性能を規定している。
• 最良の増強ペア（クロッピング＆リサイズに加えてノイズまたはソーベル）は、内部テストセットにおけるゼロショット転送で、教師ありベースラインと比べて最大20.0%高いAUROCを達成した。
• 外部評価（VinDr-CXR）では、最良の自己教師付きモデルが、ゼロショット転送で教師ありベースラインを最大27.0%上回った。
• 学習された表現は、結核や肋骨骨折などの希少で未観測の病変に対しても良好に一般化され、分布シフトに対して頑健であることが示された。
• 自己教師付き特徴を用いた線形プローブと限られたデータでのファインチューニングは、完全に教師ありで訓練されたモデルの精度を上回った。
• 表現はラベルドリフトおよび悲観的忘却に対して耐性を示し、変化するデータ分布においても性能を維持していた。

Figure 2: A selection of image augmentations (left: a-h) and their performance on MIMIC-CXR evaluation data (right), following pretraining and linear probing on MIMIC-CXR training data. Combining random resized cropping with distortion resulted in the best augmentation pair, $t_{\theta}$ .