[論文レビュー] Skin Deep Unlearning: Artefact and Instrument Debiasing in the Context of Melanoma Classification

Peter J. Bevan, Amir Atapour–Abarghouei|arXiv (Cornell University)|Sep 20, 2021

Cutaneous Melanoma Detection and Management被引用数 8

ひとこと要約

本稿では、メラノーマ分類における畳み込みニューラルネットワーク（CNN）のバイアスを軽減するため、『学ぶことを学ばない』（LNTL）および『目を背ける』というアンラーニング手法を提案する。これにより、手術マークや定規、撮影機器に起因する誤った変動を低減し、モデルのロバスト性と一般化性能を向上させる。バイアスのあるデータにおいてAUCが最大15.3%向上し、ベンチマークデータセットでは皮膚科医の性能を上回る。

ABSTRACT

Convolutional Neural Networks have demonstrated dermatologist-level performance in the classification of melanoma from skin lesion images, but prediction irregularities due to biases seen within the training data are an issue that should be addressed before widespread deployment is possible. In this work, we robustly remove bias and spurious variation from an automated melanoma classification pipeline using two leading bias unlearning techniques. We show that the biases introduced by surgical markings and rulers presented in previous studies can be reasonably mitigated using these bias removal methods. We also demonstrate the generalisation benefits of unlearning spurious variation relating to the imaging instrument used to capture lesion images. Our experimental results provide evidence that the effects of each of the aforementioned biases are notably reduced, with different debiasing techniques excelling at different tasks.

研究の動機と目的

• 皮膚腫瘍画像に含まれる手術マークや定規に起因するバイアスがモデル性能を低下させることを是正する。
• 撮影機器の違いに起因する誤った変動を軽減し、多様な臨床環境におけるモデルの一般化性能を向上させる。
• 臨床実務の変更や画像前処理の変更を必要としないバイアス軽減フレームワークを構築し、実世界への導入を可能にする。
• アンラーニング手法が、バイアスのあるデータおよびバイアスのないデータの両方でモデル性能を向上させつつ、正確性を損なわないことを実証する。
• ドメインシフトを示す複数のベンチマークデータセットにおいて、バイアス軽減手法の有効性を評価する。

提案手法

• 手術マークや定規などのアーチファクトに依存するモデルの傾向を抑制するため、『学ぶことを学ばない』（LNTL）および『目を背ける』アンラーニング手法を適用する。
• LNTLにおいて勾配反転層を用い、特徴抽出器がアーチファクトの有無に不変な表現を学習するように促進する。
• 画像サイズを撮影機器の種別を代理として扱い、機器固有のバイアスをモデル化・除去する。
• アーチファクトの有無を予測する補助のバイアス軽減ヘッドを共有特徴抽出器に統合し、主分類器が誤った手がかりを無視するように誘導する。
• 複数のテストセット（例：ISIC、MClass、Asan）で微調整を行い、ドメインシフト下での一般化性能を評価する。
• アブレーションスタディを実施し、トレーニングパイプラインにおける勾配反転およびバイアス軽減ヘッドの必要性を検証する。

実験結果

リサーチクエスチョン

• RQ1 アンラーニング手法は、皮膚腫瘍画像に由来する手術マークや定規に起因するモデルバイアスを効果的に低減できるか？
• RQ2 LNTLと『目を背ける』という異なるバイアス軽減手法は、アーチファクト関連バイアスの低減において、性能に差を示すか？
• RQ3 アンラーニングによって、撮影機器の異なるデータセット間でのモデル一般化性能はどの程度向上するか？
• RQ4 アーチファクトおよび機器バイアスの除去は、クリアでアーチファクトのない画像における性能を損なうか？
• RQ5 バイアス軽減手法は、標準化されたベンチマークで経験豊富な皮膚科医の性能を上回る可能性を秘めているか？

主な発見

• LNTL手法は手術マークのバイアスを除去する際、AUCを6.1%向上させ、クリアな画像でも性能の低下を認めず、効果的なバイアス軽減を実証した。
• LNTLにおいて誤り損失と勾配反転を組み合わせたことで、定規が含まれる画像でAUCが15.3%向上し、ベースラインを著しく上回った。
• 『目を背ける』手法は、Asanデータセットで機器関連バイアスを除去した際、ベースライン比でAUCを11.6%向上させた。
• バイアス除去モデルは、アーチファクトのないテストセットでも性能を維持または向上させ、アンラーニングが一般化性能を損なわないことを確認した。
• 提案手法のモデルはMClassベンチマークで平均皮膚科医を上回り、複数のテストセットで高いAUCスコアを達成した。
• アブレーションスタディにより、LNTLにおける勾配反転層の削除が性能低下を引き起こすことが判明し、これがバイアス低減において重要な役割を果たしていることが裏付けられた。