[논문 리뷰] Skin Deep Unlearning: Artefact and Instrument Debiasing in the Context of Melanoma Classification

Peter J. Bevan, Amir Atapour–Abarghouei|arXiv (Cornell University)|2021. 09. 20.

Cutaneous Melanoma Detection and Management인용 수 8

한 줄 요약

이 논문은 악성흑색종 분류에서 수술 표식과 자, 영상 장치에 기인한 편향을 줄이기 위해 '배우지 않는 법을 배우기'(LNTL)와 '맹목적인 눈을 가진다' 기법을 활용한 언리닝 기법을 제안한다. 이는 편향을 감소시키고 영상 장치에 기인한 비의도적인 변동성을 줄이며, 모델의 강건성과 일반화 능력을 향상시킨다. 편향이 있는 데이터에서 AUC가 최대 15.3% 향상되었고, 기준 데이터셋에서 피부과 전문의의 성능을 초월하는 결과를 보였다.

ABSTRACT

Convolutional Neural Networks have demonstrated dermatologist-level performance in the classification of melanoma from skin lesion images, but prediction irregularities due to biases seen within the training data are an issue that should be addressed before widespread deployment is possible. In this work, we robustly remove bias and spurious variation from an automated melanoma classification pipeline using two leading bias unlearning techniques. We show that the biases introduced by surgical markings and rulers presented in previous studies can be reasonably mitigated using these bias removal methods. We also demonstrate the generalisation benefits of unlearning spurious variation relating to the imaging instrument used to capture lesion images. Our experimental results provide evidence that the effects of each of the aforementioned biases are notably reduced, with different debiasing techniques excelling at different tasks.

연구 동기 및 목표

• 피부 병변 영상에 나타나는 수술 표식과 자로 인한 악성흑색종 분류의 편향을 해결함으로써 모델 성능 저하를 방지한다.
• 다양한 임상 환경에서의 일반화 능력을 향상시키기 위해 영상 장치의 차이로 인한 비의도적인 변동성을 줄인다.
• 임상 관행를 변경하거나 영상 전처리를 가로질러야 하는 것을 방지하는 편향 제거 프레임워크를 개발한다.
• 언리닝 기법이 편향이 있는 데이터뿐 아니라 편향이 없는 데이터에서도 성능 향상을 이끌어내며 정확도를 희생시키지 않는다는 것을 입증한다.
• 다양한 도메인 이동이 존재하는 여러 기준 데이터셋에서 편향 제거 방법의 효과를 평가한다.

제안 방법

• 수술 표식과 자와 같은 잡음 요소에 대한 모델 의존도를 줄이기 위해 '배우지 않는 법을 배우기'(LNTL)와 '맹목적인 눈을 가진다' 언리닝 방법을 적용한다.
• LNTL에서 기울기 반전 층을 사용하여 특징 추출기가 잡음 존재 여부에 불변인 표현을 학습하도록 유도한다.
• 이미지 크기를 영상 장치 유형의 대체 지표로 간주하여 장치별 편향을 모델링하고 제거한다.
• 잡음 존재 여부를 예측하는 보조 편향 제거 헤드를 갖춘 공통 특징 추출기를 훈련하여 주 분류기의 비의도적 신호 무시를 유도한다.
• 도메인 이동 상황에서 일반화 능력을 평가하기 위해 ISIC, MClass, Asan 등의 다양한 테스트 세트에서 모델을 피지테이닝한다.
• 훈련 파이프라인에서 기울기 반전 및 편향 제거 헤드의 필요성을 검증하기 위해 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 언리닝 기법이 피부 병변 영상에서 수술 표식과 자로 인한 모델 편향을 효과적으로 줄일 수 있는가?
• RQ2 잡음 관련 편향을 완화할 때, LNTL와 '맹목적인 눈을 가진다' 기법 간 성능 비교는 어떻게 되는가?
• RQ3 언리닝 기법이 다양한 영상 장치를 사용하는 데이터셋 간의 일반화 능력을 어느 정도 향상시킬 수 있는가?
• RQ4 잡음 및 장치 편향 제거가 청소된, 잡음이 없는 이미지에서의 성능을 손상시키는가?
• RQ5 편향 제거 방법이 표준 기준 데이터셋에서 숙련된 피부과 전문의의 성능을 초월할 수 있는가?

주요 결과

• LNTL 방법은 수술 표식의 편향을 제거할 때 AUC가 6.1% 향상되어, 청소된 이미지에서 성능 저하 없이 효과적인 편향 제거를 입증했다.
• LNTL에서 기울기 반전과 혼합 손실을 활용함으로써 자가 포함된 영상에서 AUC가 15.3% 향상되어 기준 모델을 크게 앞섰다.
• '맹목적인 눈을 가진다' 방법은 Asan 데이터셋에서 장치 관련 편향 제거 시 기준 모델 대비 AUC가 11.6% 향상되었다.
• 편향 제거된 모델은 잡음이 없는 테스트 세트에서 성능을 유지하거나 향상시켜 언리닝이 일반화 능력을 떨어뜨리지 않음을 확인했다.
• 제안된 모델들은 MClass 기준 데이터셋에서 평균 피부과 전문의를 초월하여 여러 테스트 세트에서 더 높은 AUC 스코어를 기록했다.
• 아블레이션 스터디 결과, LNTL에서 기울기 반전 층을 제거하면 성능이 떨어져 이 기법이 편향 완화에 핵심적인 역할을 한다는 점을 입증했다.