[논문 리뷰] Trustworthy Convolutional Neural Networks: A Gradient Penalized-based Approach

Nicholas Halliwell, Freddy Lécué|arXiv (Cornell University)|2020. 09. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 40인용 수 9

한 줄 요약

이 논문은 정확한 시각화 맵을 생성하도록 학습하는 신뢰할 수 있는 컨볼루션 신경망을 훈련하기 위해 기울기 페널티 손실 함수를 제안한다. 이는 예측이 올바를 때 잘못된 시각화 맵에 대해 페널티를 주고, 잘못된 예측일 때 정확한 시각화 맵에 대해 페널티를 주어 분류 정확도와 설명 가능성의 향상을 이룬다. 이 방법은 모델 파라미터를 인간의 직관적인 시각화 맵과 일치시킴으로써 모델 신뢰도를 향상시키며, 이는 사용자 참여도 증가와 암흑 상자 예측에 대한 의존도 감소로 이어진다.

ABSTRACT

Convolutional neural networks (CNNs) are commonly used for image classification. Saliency methods are examples of approaches that can be used to interpret CNNs post hoc, identifying the most relevant pixels for a prediction following the gradients flow. Even though CNNs can correctly classify images, the underlying saliency maps could be erroneous in many cases. This can result in skepticism as to the validity of the model or its interpretation. We propose a novel approach for training trustworthy CNNs by penalizing parameter choices that result in inaccurate saliency maps generated during training. We add a penalty term for inaccurate saliency maps produced when the predicted label is correct, a penalty term for accurate saliency maps produced when the predicted label is incorrect, and a regularization term penalizing overly confident saliency maps. Experiments show increased classification performance, user engagement, and trust.

연구 동기 및 목표

• 정확한 예측에도 불구하고 잘못된 시각화 맵으로 사용자를 오도하는 신뢰성 부족 문제를 해결하기 위해.
• 모델 예측과 후행적 해석성(시각화 맵을 통한) 간의 일치를 강제하는 훈련 목표를 개발하기 위해.
• 모델 파라미터 선택이 오해의 소지가 있거나 과도하게 자신감 있는 시각화 맵을 생성하는 것을 페널티로 줄여 모델의 투명도를 향상시키기 위해.
• 전체 재학습 없이도 향상된 설명 가능성을 갖는 사전 훈련된 모델의 미세조정 및 전이 학습을 가능하게 하기 위해.

제안 방법

• 교차 엔트로피 손실에 더해 세 가지 페널티 항을 포함하는 다중 구성 요소 손실 함수를 도입: (1) 예측이 올바를 때 잘못된 시각화 맵에 대한 페널티, (2) 예측이 잘못일 때 정확한 시각화 맵에 대한 페널티, (3) 과도하게 자신감 있는 시각화 맵에 대한 페널티.
• 기울기 기반 최적화를 가능하게 하기 위해 정방향 전파 중 Grad-CAM과 Guided Grad-CAM을 사용해 시각화 맵을 계산한다.
• 시각화 맵이 모델 파라미터에 대해 미분 가능한 방식으로 정의되어 있어, 설명 가능성 메커니즘을 통해 역전파가 가능하도록 페널티 항을 계산한다.
• 시각화 맵의 분산 또는 과도한 자신감이 높은 경우를 페널티로 줄여 안정적이고 견고한 설명을 유도하는 정규화 항을 적용한다.
• 기존 훈련 파이프라인에 손실 함수를 통합함으로써 사전 훈련된 모델의 미세조정 및 전이 학습을 지원한다.
• 예측된 시각화 맵과 진짜값 간의 유사도를 평가하기 위해 구조적 유사도(SSI)를 시각화 맵 정확도 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 분류 정확도와 시각화 맵의 정확도를 동시에 향상시키는 훈련 목표를 설계할 수 있는가?
• RQ2 훈련 중에 잘못된 시각화 맵에 대해 페널티를 주는 것이 모델 신뢰도와 사용자 인식에 어떤 영향을 미치는가?
• RQ3 제안된 손실 함수는 정확한 예측이지만 잘못된 시각화 맵을 갖는 경우(사례 3)의 발생 빈도를 어느 정도 감소시킬 수 있는가?
• RQ4 시각화 맵 정규화를 포함함으로써, 적대적 또는 모호한 입력에 대한 견고성이 향상되는가?
• RQ5 성능 저하 없이 전이 학습 시나리오에 효과적으로 적용될 수 있는가?

주요 결과

• Grad-CAM을 사용해 훈련한 신뢰할 수 있는 CNN는 정확한 예측과 정확한 시각화 맵을 동시에 갖는 이미지 비율이 44%에 달했으며, 이는 VGG-16 기준선의 22%보다 유의미하게 높았다.
• Guided Grad-CAM으로 훈련한 모델은 잘못된 예측이지만 정확한 시각화 맵을 갖는 경우(사례 2)를 8%로 줄였으며, 기준선 대비 12%에서 감소했다.
• 정확한 예측이지만 잘못된 시각화 맵을 갖는 경우(사례 3)의 비율은 Grad-CAM 기반 훈련 시 18%, Guided Grad-CAM 기반 훈련 시 10%로 기준선의 48%에서 크게 감소했다.
• 사용자 연구 결과, 제안된 손실 함수를 사용해 훈련한 모델은 인간의 직관과 일치하는 시각화 맵을 제공함으로써 신뢰도와 참여도가 증가한 것으로 확인되었다.
• 제거 실험 결과, 시각화 맵 페널티 항을 비활성화하면 성능이 악화됨을 확인하여 이 항목이 손실 함수 내에서 필수적임을 입증했다.
• SSIM 변화를 통해 두 시각화 관련 페널티 항 간의 상충 관계가 드러났으며, 항을 제거할 경우 성능 변화가 관찰되었다.