[논문 리뷰] Global explanations for discovering bias in data.

Agnieszka Mikołajczyk, Michał Grochowski외 1명|arXiv (Cornell University)|2020. 05. 05.

Cutaneous Melanoma Detection and Management인용 수 2

한 줄 요약

이 논문은 표형 및 이미지 데이터에서 편향을 탐지하고 분석하기 위해 주의 기반 전역 설명 프레임워크를 제안하며, 역설적 편향 삽입을 통해 영향력 있는 아티팩트를 식별한다. 피부 병변 데이터셋에서 검은 테두리가 있는 이미지의 경우 양성에서 악성으로의 예측 변화가 22% 발생함을 확인하여, 편향 탐지가 모델의 강건성에 매우 중요하다는 것을 보여준다.

ABSTRACT

In the paper, we propose attention-based summarized post-hoc explanations for detection and identification of bias in data. We propose a global explanation and introduce a step-by-step framework on how to detect and test bias. Then, the bias is evaluated with a proposed counterfactual approach to bias insertion. Because removing the unwanted bias is often a complicated and tremendous task, we automatically insert it, instead. We validate our results on the example of the skin lesion dataset. Using the method, we successfully identified and confirmed part of the possible bias-causing artifacts in dermoscopy images. We confirmed that the commonplace black frames in the training dataset images have a strong influence on the Convolutional Neural Network's prediction. After artificially adding a black frame to all images, around 22% of them changed the prediction from benign to malignant. We have shown that bias detection is an important step of making more robust models, and we discuss how to improve them

연구 동기 및 목표

• 기계 학습 데이터셋에서 편향을 탐지하기 위한 전역 설명 방법을 개발하는 것.
• 특히 피부 내시경과 같은 의료 영상에서 편향을 유발하는 아티팩트를 식별하는 것.
• 편향을 인위적으로 삽입하는 역설적 접근을 통해 편향의 영향을 평가하는 것.
• 편향 탐지가 더 강건하고 신뢰할 수 있는 모델을 구축하는 데 필수적임을 입증하는 것.
• 일반적인 데이터 아티팩트, 예를 들어 검은 테두리가 모델 예측을 상당히 왜곡할 수 있음을 보여주는 것.

제안 방법

• 이 방법은 주의 메커니즘을 사용하여 모델 예측에 영향을 주는 특징을 강조하는 전역 사후 설명을 생성한다.
• 데이터 수준의 아티팩트에 초점을 맞춘, 편향 탐지 및 테스트를 위한 단계별 프레임워크를 도입한다.
• 모든 이미지에 검은 테두리를 인위적으로 추가함으로써 역설적 편향 삽입 기법을 적용한다.
• 편향 삽입 후 모델의 예측 변화를 측정하여 특정 아티팩트의 영향을 평가한다.
• 특정 아티팩트, 예를 들어 검은 테두리가 데이터셋 전반에서 예측에 얼마나 영향을 미치는지 평가한다.
• 실제 적용 가능성을 입증하기 위해 피부 병변 피부 내시경 데이터셋을 대상으로 이 방법을 검증한다.

실험 결과

연구 질문

• RQ1 피부 내시경 영상에서 어떤 데이터 수준의 아티팩트가 모델 예측에 상당한 영향을 미치는가?
• RQ2 전역 설명은 기계 학습 모델의 편향을 어떻게 탐지하는 데 사용될 수 있는가?
• RQ3 학습 이미지에 검은 테두리가 존재할 경우, 모델의 예측이 양성에서 악성으로 얼마나 변화하는가?
• RQ4 역설적 편향 삽입은 모델 행동의 숨겨진 편향을 효과적으로 드러내는가?
• RQ5 편향 탐지는 의료 영상에서 딥 러닝 모델의 강건성을 어떻게 향상시킬 수 있는가?

주요 결과

• 피부 내시경 영상에서 검은 테두리의 존재가 컨volutional 신경망 예측에 강력한 영향을 미쳐, 양성에서 악성으로의 분류 변화가 22% 발생한다.
• 데이터셋의 모든 이미지에 검은 테두리를 인위적으로 추가하면 모델 예측에 상당한 측정 가능한 변화가 발생한다.
• 이 연구는 일반적인 데이터 아티팩트, 예를 들어 프레임링이 모델 출력에 체계적인 편향을 유도할 수 있음을 확인한다.
• 주의 기반 전역 설명은 이미지 데이터에서 편향을 유발하는 특징을 성공적으로 식별하고 강조한다.
• 역설적 삽입을 통한 편향 탐지는 모델 행동에 영향을 주는 숨겨진 데이터 수준의 영향을 드러내는 데 효과적임을 입증한다.
• 연구 결과는 편향 탐지가 더 강건하고 신뢰할 수 있는 기계 학습 모델을 구축하기 위한 필수 단계임을 강조한다.