[논문 리뷰] Global Saliency: Aggregating Saliency Maps to Assess Dataset Artefact Bias

Jacob Pfau, Albert T. Young외 2명|arXiv (Cornell University)|2019. 10. 16.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 심층 학습 모델에서 예술적 오차로 인한 편향을 정량적으로 평가하기 위해 의미 분할 마스크를 사용하여 데이터셋 전반에 걸쳐 중요도 맵을 집계하는 글로벌 중요도(global saliency)를 소개한다. 모델이 편향된 데이터로 훈련된 경우, 피부병변 진단에서 잉크 자국에 대해 비례하지 않게 높은 중요도를 할당하는 것으로 밝혀졌으며, 이 편향을 줄이기 위한 샘플링 전략을 제안한다.

ABSTRACT

In high-stakes applications of machine learning models, interpretability methods provide guarantees that models are right for the right reasons. In medical imaging, saliency maps have become the standard tool for determining whether a neural model has learned relevant robust features, rather than artefactual noise. However, saliency maps are limited to local model explanation because they interpret predictions on an image-by-image basis. We propose aggregating saliency globally, using semantic segmentation masks, to provide quantitative measures of model bias across a dataset. To evaluate global saliency methods, we propose two metrics for quantifying the validity of saliency explanations. We apply the global saliency method to skin lesion diagnosis to determine the effect of artefacts, such as ink, on model bias.

연구 동기 및 목표

• 피부병변 진단에서 잉크 자국과 같은 시각적 오차에 대한 모델 편향을 데이터셋 전체에 걸쳐 정량적으로 평가할 수 있는 방법의 부재를 해결하기 위해.
• 개별 이미지의 중요도 해석을 넘어서 데이터셋 전반에서 모델 행동을 비교 분석할 수 있는 전역적 분석 방법을 개발하기 위해.
• 특히 혼동 요인인 오차 요소가 존재할 경우에도 중요도 맵이 진정으로 모델의 의사결정 과정을 반영하는지의 신뢰성을 평가하기 위해.
• 편향된 오차와 레이블 간의 공시현황 확률을 균형 있게 만드는 훈련 샘플링 전략을 제안하여 오차 편향을 줄이기 위해.

제안 방법

• 의미 분할 마스크를 사용해 이미지 간 중요도 맵을 집계하여, 각 클래스별 오차 영역(예: 잉크)에서 평균 또는 최대 중요도를 계산한다.
• 글로벌 중요도를 정의하기 위해, 특정 중요도 방법의 완전성 성질을 활용해 전체 중요도로 정규화된 검증 세트에서 오차 픽셀의 평균 중요도를 계산한다.
• 두 가지 지표를 도입한다: 모델 실패 예측(잉크 중요도와 정확도 저하 간 상관관계) 및 데이터셋 편향 탐지(잉크-중요도 간 클래스 간 분산).
• 편향된 오차-클래스 공시 확률을 갖는 세 가지 훈련 데이터셋을 사용한다: 베이스라인(실제 세계의 편향), 비편향(동일한 공시 확률), 잉크 전용(오차 전용)으로 편향 영향을 고립시킨다.
• grad-CAM과 경쟁적 기울기 × 입력 중요도 방법을 적용하며, 이들의 경험적 완전성 성질을 활용해 중요도 합이 정규화되도록 보장한다.
• 검증 세트에서 중요도 기반 임계값을 적용한 서브셋에 대해 모델 성능을 평가하여 중요도가 예측 정확도와 얼마나 관련이 있는지 분석한다.

실험 결과

연구 질문

• RQ1 중요도 맵이 전반적인 데이터셋에서 배경 특징을 넘어서, 오차 요소(예: 잉크 자국)에 대한 진정한 모델 의존도를 얼마나 잘 반영하는가?
• RQ2 피부병변 분류에서 오차 유도 편향이 다양한 진단 클래스 간로 어떻게 변화하는가?
• RQ3 글로벌 중요도 지표가 다른 모델 간 비교 및 모델 선택을 가능하게 하여 편향을 탐지하고 정량화할 수 있는가?
• RQ4 샘플링을 통해 오차와 레이블 간 공시 편향을 줄이면, 오차 중요도가 측정 가능한 정도로 감소하고 모델의 강건성이 향상되는가?

주요 결과

• 베이스라인 모델은 MEL 및 SK 외의 다른 클래스보다 MEL과 SK에서 잉크 자국에 대해 유의미하게 더 높은 중요도를 할당하였으며, 비-MEL+SK 클래스에 대해 Kendall’s τ = -0.889 (p < 0.0001)의 상관관계를 보였다.
• MEL+SK 병변에서는 과도한 잉크 중요도가 높은 모델 정확도와 관련이 있었으며, 이는 진단적 신호로서의 잉크 자국에 대한 허구적이지만 해로운 의존도를 시사한다.
• 비편향 훈련 데이터셋을 사용한 결과, 잉크-중요도 간 분산이 0.007에서 0.003으로 감소하였지만, 이 차이는 통계적으로 유의미하지 않았다(Levene’s test, W=1.04, p=0.33).
• 훈련 중 병변을 제거하는 작업(병변 제거 모델)을 수행한 결과 정확도가 28%에 머물러, 잉크 외관의 시각적 변동성이 편향을 유도한다는 가설을 반박하였다.
• 글로벌 중요도 프레임워크는 편향된 데이터로 훈련된 모델이 잉크에 대해 진단적 중요도를 잘못 부여하는 것을 성공적으로 탐지하였다. 특히 MEL과 SK에서 두드러졌다.
• 피크 중요도 집계는 grad-CAM에 대해서는 평균 중요도와 유사한 결과를 보였지만, 경쟁적 중요도에 대해서는 그렇지 않았으며, 이는 글로벌 편향 탐지에서 방법에 따라 민감도가 다름을 시사한다.