[논문 리뷰] iGOS++: Integrated Gradient Optimized Saliency by Bilateral Perturbations

Saeed Khorram, Tyler Lawson외 1명|arXiv (Cornell University)|2020. 12. 31.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

iGOS++는 딥러닝 해석에서 국소화 정확도를 향상시키기 위해 삭제 마스크와 삽입 마스크를 동시에 최적화하는 새로운 선명도 방법을 도입한다. 양방향 총변동 정규화를 통합함으로써 더 부드럽고 해석 가능한 히트맵을 생성하며, 특히 고해상도에서 뛰어난 성능을 발휘한다. 또한 숨겨진 데이터 편향(예: 의료 X레이에서 텍스트에 과적합되는 것)을 드러내어 설명 가능 AI 분야에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

The black-box nature of the deep networks makes the explanation for "why" they make certain predictions extremely challenging. Saliency maps are one of the most widely-used local explanation tools to alleviate this problem. One of the primary approaches for generating saliency maps is by optimizing a mask over the input dimensions so that the output of the network is influenced the most by the masking. However, prior work only studies such influence by removing evidence from the input. In this paper, we present iGOS++, a framework to generate saliency maps that are optimized for altering the output of the black-box system by either removing or preserving only a small fraction of the input. Additionally, we propose to add a bilateral total variation term to the optimization that improves the continuity of the saliency map especially under high resolution and with thin object parts. The evaluation results from comparing iGOS++ against state-of-the-art saliency map methods show significant improvement in locating salient regions that are directly interpretable by humans. We utilized iGOS++ in the task of classifying COVID-19 cases from x-ray images and discovered that sometimes the CNN network is overfitted to the characters printed on the x-ray images when performing classification. Fixing this issue by data cleansing significantly improved the precision and recall of the classifier.

연구 동기 및 목표

• 기존 선명도 방법이 증거 제거에만 집중함으로써 조각나고 비연결된 마스크가 발생하는 한계를 해결하기 위해.
• 이중 총변동 정규화 항을 도입하여 고해상도에서의 선명도 맵 품질을 향상시키고 부드럽고 연속적인 특성 확보를 위해.
• 마스크 삭제 및 삽입 효과를 동시에 최적화하여 더 충실하고 인간이 이해할 수 있는 설명을 가능하게 하기 위해.
• 특히 텍스트와 같은 비임상적 아티팩트(예: X레이에서의 텍스트)와 같은 허수 상관관계로 인해 분류기가 오류를 범할 수 있는 의료 영상 파ip라인에서 숨겨진 데이터 편향을 탐지하고 진단하기 위해.
• 자연 이미지와 실제 의료 데이터 모두에서 방법을 검증하여 모델 신뢰성 향상과 디버깅에 활용 가능성을 입증하기 위해.

제안 방법

• iGOS++는 입력 특징을 제거하는 삭제 마스크와 가장 선명한 특징만 유지하는 삽입 마스크를 별도로 최적화한다.
• 이 방법은 삭제 마스크 적용 시 네트워크의 예측 신뢰도를 최소화하고 삽입 마스크 적용 시 최대화하는 이중 목적 손실 함수를 사용한다.
• 이미지 색상 유사도와 에지 인식 스무딩을 활용하여 공간적 부드러움을 강제하는 새로운 이중 총변동(Bilateral Total Variation, BTV) 정규화 항을 도입한다.
• BTV 항은 색상 및 공간적 근접도를 기반으로 한 가중치를 사용한 픽셀 차이의 가중 평균을 통해 계산되며, 고해상도에서 히트맵의 확산을 줄인다.
• 최종 선명도 맵은 두 마스크의 최적화를 통합하여 유의미한 영역이 분할 없이 강조되도록 유도한다.
• 기울기 역전파를 최적화 과정을 통해 전파함으로써 딥 네트워크에 종단 간(end-to-end) 적용하여 고해상도, 연속적인 히트맵을 생성한다.

실험 결과

연구 질문

• RQ1 입력 특징의 삭제와 삽입을 동시에 최적화하는 것이 단순히 삭제만 고려하는 기존 방법보다 더 정확하고 연속적인 선명도 맵을 도출할 수 있는가?
• RQ2 이중 총변동 정규화 항의 도입이 특히 고해상도에서 선명도 맵의 부드러움과 해석 가능성에 뚜렷한 향상을 이끌 수 있는가?
• RQ3 iGOS++는 의료 영상에서 텍스트와 같은 비임상적 아티팩트에 과적합되는 등 숨겨진 데이터 편향을 탐지하고 드러낼 수 있는가?
• RQ4 다양한 해상도에서 상태의 최선 기준 선명도 방법들과 비교해 볼 때 iGOS++는 국소화 정확도와 내구성 측면에서 어떤 성능을 보이는가?
• RQ5 실제 의료 영상 데이터셋에서 허수 상관관계를 드러내는 데서 iGOS++는 모델 신뢰성 향상에 얼마나 기여할 수 있는가?

주요 결과

• 삽입 마스크에 의해 선별된 가장 선명한 픽셀 6%만으로도 육상개미의 분류 신뢰도가 99.2%에 도달하여, 우수한 특징 유지 및 국소화 능력을 입증했다.
• 이전 방법들(예: I-GOS)에 비해 고해상도에서 예측 신뢰도 유지 능력이 뛰어나며, 더 조각나지 않고 더 통합된 선명도 맵을 제공했다.
• 의료 영상 사례 연구에서 iGOS++는 분류기가 X레이 이미지의 텍스트 문자(예: 'R')에 과적합되어 잘못된 코로나19 예측을 유도하고 있음을 드러냈다.
• 학습 데이터에서 텍스트 포함 영역을 제거한 후 분류기의 정밀도와 재현율이 뚜렷이 향상되어, 모델이 허수 상관관계를 학습했다는 것이 확인되었다.
• 이중 총변동 항은 히트맵의 확산을 효과적으로 줄이고, 벌레 다리처럼 얇거나 길쭉한 구조 영역에서도 부드러움을 향상시켰다.
• iGOS++의 삽입 전용 시각화 기능은 기존 선명도 방법으로는 감지되지 않았던 핵심 모델 버그를 탐지하는 데 성공하여, 모델 디버깅에서의 가치를 입증했다.