[논문 리뷰] Saliency is a Possible Red Herring When Diagnosing Poor Generalization

Joseph D. Viviano, Becks Simpson외 3명|arXiv (Cornell University)|2019. 10. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 49인용 수 14

한 줄 요약

이 논문은 딥러닝 모델에서 열악한 일반화를 진단하는 데 있어 색소맵(saliency maps)이 신뢰성 있게 작동한다는 가정을 도전한다. 전문가가 주석 처리한 마스크를 사용해 모델 학습을 유도하는 할당 우선순위(attribution priors)를 적용함으로써 일반화를 향상시키는 방법들이 인간이 주석 처리한 영역과의 일치도를 일관되게 향상시키지 못함을 보여주며, 이는 색소맵이 모델의 강건성 진단 도구로서의 신뢰성을 떨어뜨린다.

ABSTRACT

Poor generalization is one symptom of models that learn to predict target variables using spuriously-correlated image features present only in the training distribution instead of the true image features that denote a class. It is often thought that this can be diagnosed visually using attribution (aka saliency) maps. We study if this assumption is correct. In some prediction tasks, such as for medical images, one may have some images with masks drawn by a human expert, indicating a region of the image containing relevant information to make the prediction. We study multiple methods that take advantage of such auxiliary labels, by training networks to ignore distracting features which may be found outside of the region of interest. This mask information is only used during training and has an impact on generalization accuracy depending on the severity of the shift between the training and test distributions. Surprisingly, while these methods improve generalization performance in the presence of a covariate shift, there is no strong correspondence between the correction of attribution towards the features a human expert has labelled as important and generalization performance. These results suggest that the root cause of poor generalization may not always be spatially defined, and raise questions about the utility of masks as "attribution priors" as well as saliency maps for explainable predictions.

연구 동기 및 목표

• 딥 러닝 모델에서 단순 학습의 원인으로 인한 열악한 일반화를 색소맵이 신뢰성 있게 진단할 수 있는지 조사하기 위해.
• 전문가가 주석 처리한 마스크(할당 우선순위)를 사용한 정규화가 일반화와 할당 품질을 모두 향상시키는지 평가하기 위해.
• 향상된 일반화가 인간이 주석 처리한 관심 영역과 모델의 색소맵 간 일치도 향상과 관련이 있는지 테스트하기 위해.
• 시각 모델에서 특성 할당을 제어하기 위해 마스크를 우선순위로 사용하는 데서 발생하는 한계를 평가하기 위해.
• 외부 분포(out-of-distribution) 설정에서 모델의 정확성 여부를 판단하는 데 할당 기반 방법이 신뢰할 수 있는지 탐색하기 위해.

제안 방법

• 모델이 복잡한 세기 작업 대신 공간적으로 구분되는 혼란 인자(confounder)에 과적합하는 것을 방지하기 위해, 인위적인 데이터셋을 구축하였다.
• 훈련-테스트 공변량 이탈(covariate shift)을 통제한 두 가지 실제 의료 영상 작업—RSNA(시각 병변 관련성) 및 MIMIC-CXR(병변 위치 관련성)—을 구축하였다.
• 다양한 할당 인식 방법을 평가: RRR, GradMask, 적대적 도메인 불변성, 그리고 입력 마스크와 비마스크 입력 간 활성도 차이를 최소화하는 새로운 방법인 ActDiff.
• 색소맵 계산에 통합 기울기(integrated gradients)를 사용하고, 전문가 마스크와의 교차율(IoU)을 측정하여 할당 품질을 평가하였다.
• 공변량 이탈 하에서 외부 분포 테스트 세트의 AUC를 사용해 일반화를 평가하였다.
• 모델 안정성과 변동성을 평가하기 위해 여러 랜덤 시드를 기반으로 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 할당 우선순위를 통해 일반화를 향상시키는 것이 색소맵과 전문가가 주석 처리한 영역 간 일치도 향상에 기여하는가?
• RQ2 외부 분포에서의 일반화 성능 향상과 전문가 마스크와의 색소맵 품질(IoU) 향상 사이에 신뢰할 수 있는 상관관계가 있는가?
• RQ3 색소맵은 시각 모델에서 단순 학습이나 과적합을 진단하는 데 신뢰할 수 있는 도구로 사용될 수 있는가?
• RQ4 입력 마스크를 기반으로 한 할당 우선순위가 일반화와 특성 할당을 일관되게 향상시키는가?
• RQ5 다양한 할당 인식 정규화 기법은 공변량 이탈 하에서 일반화 향상과 색소맵 일치도 향상 능력에서 어떻게 비교되는가?

주요 결과

• 외부 분포 일반화 성능(AUC)에서 뚜렷한 향상이 있었음에도 불구하고, 특히 RSNA VPC 데이터셋에서 ActDiff를 사용한 모델들은 전문가 마스크와의 색소맵 일치도(IoU)에서 향상이 없거나 오히려 악화된 경우가 있었다.
• 실제 의료 데이터셋에서는 AUC(일반화)와 IoU(할당 품질) 사이에 약한 또는 전혀 없는 상관관계를 보였지만, 인위적 데이터셋에서는 양의 상관관계가 관찰되었다.
• 할당 우선순위를 사용해 정규화한 모델들은 공변량 이탈 하에서 일반화 성능을 향상시켰지만, 일관되게 전문가가 주석 처리한 영역과 일치하는 색소맵을 생성하지 못했으며, 이는 일반화와 할당 정확성 간의 분리됨을 시사한다.
• ActDiff 방법은 일부 설정에서 AUC를 최대 0.25까지 향상시켰지만, IoU는 0.15 이상 감소시켜 일반화와 색소맵 품질 간 명백한 괴리가 있음을 입증하였다.
• 마스크 외부의 특징을 무시하도록 명시적 정규화를 적용한 후에도 모델은 여전히 마스크 외부 영역에 할당을 수행했으며, 이는 혼란 요소가 마스크 내부에서 재구성될 수 있음을 시사한다.
• 결과적으로, 좋은 일반화가 좋은 할당을 의미하지는 않으며, 그 반대도 마찬가지이므로, 색소맵을 과적합 여부 진단 도구로 사용하는 것의 타당성이 의심스럽다.