[논문 리뷰] It's easy to fool yourself: Case studies on identifying bias and confounding in bio-medical datasets

Subhashini Venugopalan, Arunachalam Narayanaswamy외 11명|arXiv (Cornell University)|2019. 12. 12.

Machine Learning and Data Classification참고 문헌 12인용 수 6

한 줄 요약

이 논문은 생물의학 영상 분야의 딥러닝 모델이 실험적 배치, 이미지 초점 품질, 세포 밀도와 같은 혼란 변수로부터 유사 신호를 빈번히 학습할 수 있음을 조사한다. SMA 및 ALS 데이터셋에 대한 사례 연구를 통해 비지도 군집화, 모델 해석 기법(GradCAM), 성능 분석을 활용하여 편향을 규명하였으며, 모델이 질병 관련 특징을 탐지하는 것이 아니라 데이터 수집 및 처리 과정에서 발생하는 기술적 아티팩트를 악용함으로써 높은 정확도를 달성하고 있음을 밝혀냈다.

ABSTRACT

Confounding variables are a well known source of nuisance in biomedical studies. They present an even greater challenge when we combine them with black-box machine learning techniques that operate on raw data. This work presents two case studies. In one, we discovered biases arising from systematic errors in the data generation process. In the other, we found a spurious source of signal unrelated to the prediction task at hand. In both cases, our prediction models performed well but under careful examination hidden confounders and biases were revealed. These are cautionary tales on the limits of using machine learning techniques on raw data from scientific experiments.

연구 동기 및 목표

• 생물의학 영상 데이터셋 내 혼란 변수가 딥러닝 응용 프로그램에서 오해의 소지가 있는 모델 성능을 초래할 수 있는 방식을 조사하는 것.
• 실험 설계, 이미지 촬영, 처리 파이프라인으로 인해 발생하는 고속 스크리닝 현미경 데이터 내 숨겨진 편향을 식별하는 것.
• 비지도 임bedding과 모델 해석 기법이 세포 영상 분류에서 유사 신호를 탐지하는 데서 수행하는 역할을 평가하는 것.
• 높은 모델 정확도가 생물학적 신호를 통해 달성되는 것이 아니라 초점 품질 기울기 및 플레이트 위치와 같은 체계적 아티팩트를 통해 달성될 수 있음을 보여주는 것.
• 기계학습 응용 프로그램에서 생물의학적 발견을 위해 모델 행동과 데이터 기원에 대한 철저한 검토를 촉구하는 것.

제안 방법

• ImageNet 사전 훈련된 InceptionV4의 비지도 CNN 임베딩을 시각화하기 위해 t-SNE를 적용하여 실험적 배치 또는 플레이트 위치에 따른 군집화 여부를 탐지하였다.
• 사전 훈련된 CNN을 사용하여 이미지 초점 품질을 평가하고, 각 사이트 이미지에 대해 순위 기반 확률 점수(0–1)를 할당하였다.
• 수동으로 설계한 특징(예: 세포 밀도, 이미지 통계)과 완전히 감독된 CNN을 포함한 감독 모델을 훈련하여 분류를 수행하였다.
• GradCAM을 활용하여 활성도 지ap을 생성하고 CNN 내 주의 영역을 시각화하여 모델이 생물학적으로 관련 있는 특징이 아닌 아티팩트 기반 특징에 집중하고 있는지 확인하였다.
• 5개의 폴드로 나누어 교차 검증을 수행하였으며, 각 폴드에서 한 개의 배치를 제외하여 일반화 성능과 데이터 유출 여부를 탐지하였다.
• 폴드 간 성능 차이를 분석하여 실험실 출처나 배치 특화 요소에 대한 의존도를 탐지하였으며, 특히 제로샷 일반화 설정에서의 영향을 분석하였다.

실험 결과

연구 질문

• RQ1 세포 영상 분석에서 딥러닝 모델이 생물학적으로 관련 있는 질병 마커가 아닌 실험적 배치나 플레이트 위치와 같은 혼란 변수를 얼마나 많이 학습하는가?
• RQ2 초점 품질 기울기와 같은 이미지 촬영 아티팩트가 96-well 플레이트 전반에 걸쳐 발생할 경우 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 CNN 임베딩의 비지도 군집화가 레이블 분포에서 드러나지 않는 숨겨진 데이터 편향을 드러낼 수 있는가?
• RQ4 세포 밀도나 이미지 통계와 같은 수동으로 설계한 특징이 모델 성능에 얼마나 기여하며, 이들이 혼란 요소가 되는가?
• RQ5 GradCAM과 같은 모델 해석 기법이 생물의학 데이터에서 딥러닝 모델의 예측 신호 진짜 원인을 폭 드러내는 데 어떻게 기여하는가?

주요 결과

• SMA Main 데이터셋에서, 12개의 교차 검증 폴드 전반에 걸쳐 높은 ROC AUC 성능을 기록하였지만, 성능이 랜덤보다 열 劣한 유일한 폴드는 건강한 세포주와 질병 세포주가 동일한 연구소에서 유래한 경우에 해당하여, 모델이 연구소 특화 요소에 의존하고 있음을 시사했다.
• CNN 임베딩의 비지도 t-SNE 군집화 분석에서 SMA 및 ALS 데이터셋 양쪽 모두에서 실험적 배치에 따라 강력한 군집화가 나타나, 배치 효과가 특징 공간을 지배하고 있음을 확인하였다.
• ALS 데이터셋에서 세포 밀도에만 기반한 모델이 완전히 감독된 CNN과 유사한 ROC AUC 성능을 기록하여, 세포 밀도가 주요 혼란 신호임을 시사했다.
• 부분적 의존도 플롯을 통해 세포 밀도가 핵심 혼란 요소임을 확인하였으며, 모델의 예측이 사이트 이미지당 세포 수에 의해 강하게 영향을 받고 있음을 보여주었다.
• GradCAM 활성도 지도에서 TDPwt 라인을 분류할 때 모델이 빈 영역에 주목하고 있음을 확인하여, 세포 형태보다 공간적 아티팩트에 집중하고 있음을 밝혀냈다.
• z-stack 공형 현미경 촬영 방식은 단일 평면 광학 현미경 촬영 대비 초점 품질을 크게 향상시켜 원래의 SMA Main 데이터셋에서 주요 이미지 수준의 편향 원인을 해결하였다.