[논문 리뷰] On the Benefits of Attributional Robustness.

Mayank Singh, Nupur Kumari외 4명|arXiv (Cornell University)|2019. 11. 29.

Bayesian Modeling and Causal Inference인용 수 7

한 줄 요약

이 논문은 소프트 마진 트리플릿 손실을 사용하여 입력 이미지와 그들의 시각화 지ap(자기 지도)를 정렬함으로써 기계 학습 모델의 기여도에 대한 강건성을 향상시키는 새로운 훈련 방법론을 제안한다. 이 방법은 SVHN, CIFAR10, GTSRB에서 기여도 강건성 측면에서 최신 기준 성능을 달성하며 각각 6–18% 향상되었고, CUB-200에서 약한 감독을 받는 객체 탐지 작업에서 새로운 최고 성능(SOTA)을 수립하였다.

ABSTRACT

Interpretability is an emerging area of research in trustworthy machine learning. Safe deployment of machine
 learning system mandates that the prediction and its explanation be reliable and robust. Recently, it was shown that one could craft perturbations that produce perceptually indistinguishable inputs having the same prediction, yet very different interpretations. We tackle the problem of attributional robustness (i.e. models having robust explanations) by maximizing the alignment between the input image and its saliency map using soft-margin triplet loss. We propose a robust attribution training methodology that beats the stateof-the-art attributional robustness measure by a margin of≈ 6-18 % on several standard datasets, ie. SVHN, CIFAR10 and GTSRB. We further show the utility of the proposed robust model in the domain of weakly supervised object localization and segmentation. Our proposed robust model also achieves a new state-of-the-art object localization accuracy on the CUB-200 dataset.

연구 동기 및 목표

• 작은 입력 변형에 대한 모델 설명(기여도)의 부족한 강건성 문제를 해결하기 위해.
• 적대적 또는 인식할 수 없는 변형이 가해져도 시각화 지도가 입력 이미지와 일관되고 정렬되도록 보장하기 위해.
• 신뢰할 수 있는 기계 학습 배포를 위한 설명의 신뢰성 향상하기 위해.
• 강건한 설명을 활용하여 약한 감독을 받는 객체 탐지 및 세분화 작업의 성능 향상시키기 위해.
• 기여도 강건성과 객체 탐지 정확도에서 새로운 최고 성능(SOTA)을 수립하기 위해.

제안 방법

• 입력 이미지와 해당 시각화 지도 간의 정렬을 극대화하기 위해 소프트 마진 트리플릿 손실을 사용한다.
• 입력이 약간 변형되었지만 시각적으로 구분되지 않을 경우에도 일관된 시각화 지도를 생성하도록 모델을 훈련한다.
• 트리플릿 손실을 대비 삼은 트리플릿(기준점: 원본 이미지, 양성: 동일한 예측을 가진 변형된 이미지, 음성: 다른 예측을 가진 이미지)에 적용한다.
• 훈련 중에 기여도 강건성을 향상시키기 위해 모델을 종합적으로 최적화한다.
• 하류 작업(예: 약한 감독을 받는 객체 탐지)에 대해 학습된 강건한 시각화 지도를 활용한다.
• 분포 변화 상황에서도 충실하고 안정적인 설명을 우선시하는 훈련 목표를 도입한다.

실험 결과

연구 질문

• RQ1 작고 인식할 수 없는 입력 변형에 대해 기여도 설명의 강건성을 향상시킬 수 있는가?
• RQ2 입력 이미지와 시각화 지도 간의 정렬이 기여도 강건성에 어떤 영향을 미치는가?
• RQ3 강건한 기여도 설명은 약한 감독을 받는 객체 탐지 성능 향상에 기여할 수 있는가?
• RQ4 제안된 방법은 표준 벤치마크에서 기존의 기여도 강건성 기준 성능을 초월하는가?
• RQ5 강건한 설명은 CUB-200에서 객체 탐지 작업에서 최고 성능(SOTA)을 달성할 수 있는가?

주요 결과

• 제안된 방법은 SVHN, CIFAR10, GTSRB에서 최신 기준 성능 대비 기여도 강건성을 각각 6–18% 향상시켰다.
• 모델은 CUB-200 데이터셋에서 약한 감독을 받는 객체 탐지 작업에서 새로운 최고 성능(SOTA) 정확도를 달성했다.
• 적대적 변형 조건에서도 강건한 시각화 지도가 입력 이미지와 일관되게 정렬된다.
• 예측 정확도를 훼손하지 않으면서 설명의 충실도를 향상시켰다.
• 다양한 비전 데이터셋과 작업 간에 효과적으로 일반화되었다.
• 소프트 마진 트리플릿 손실은 추가적인 추론 시간 처리 없이도 기여도 강건성을 효과적으로 강화한다.