[논문 리뷰] Robust Attribution Regularization

Jiefeng Chen, Xi Wu외 3명|arXiv (Cornell University)|2019. 05. 23.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 26

한 줄 요약

이 논문은 통합 기여도(IG) 기여도를 신경망에서 더욱 강건하게 만들기 위해 강건 최적화 원리를 통합한 새로운 훈련 프레임워크인 강건 기여도 정규화를 제안한다. 소규모 입력 변형에 대한 기여도 이동을 최소화하기 위해 불확실성 집합 및 분포 기반 강건성 모델을 사용함으로써, 이 방법은 기존 자연 모델 대비 최대 83% 높은 상위 100개의 교차율과 0.83 Kendall 상관계수를 기록하며 훨씬 더 안정적이고 신뢰할 수 있는 샐런시 맵을 달성한다.

ABSTRACT

An emerging problem in trustworthy machine learning is to train models that produce robust interpretations for their predictions. We take a step towards solving this problem through the lens of axiomatic attribution of neural networks. Our theory is grounded in the recent work, Integrated Gradients (IG), in axiomatically attributing a neural network's output change to its input change. We propose training objectives in classic robust optimization models to achieve robust IG attributions. Our objectives give principled generalizations of previous objectives designed for robust predictions, and they naturally degenerate to classic soft-margin training for one-layer neural networks. We also generalize previous theory and prove that the objectives for different robust optimization models are closely related. Experiments demonstrate the effectiveness of our method, and also point to intriguing problems which hint at the need for better optimization techniques or better neural network architectures for robust attribution training.

연구 동기 및 목표

• 소규모 입력 변형으로 인해 기여도 맵이 극적으로 변화하는 상황에서 기여도 분석의 강건성 부족 문제를 해결하기 위해.
• 기존에 모델 예측에 적용된 강건 최적화 원리를 기여도 기반 특성 분석으로 확장하기 위해.
• 근거 있는 훈련 목표를 정식화하여, 인접한 입력들 사이에서도 IG 기여도가 일관되게 유지되도록 보장하기 위해.
• 기존의 강건 훈련 목표를 기여도 공간으로 일반화하면서도 IG의 이론적 성질을 유지하기 위해.
• 강건하게 훈련된 모델이 악성 기여도 공격 상황에서도 더 신뢰할 수 있고 안정적인 샐런시 맵을 제공함을 경험적으로 검증하기 위해.

제안 방법

• 데이터 분포 상의 표준 손실 최소화와 함께, 입력 변형에 대해 기여도가 안정적으로 유지되도록 하는 이중 목표를 제안한다.
• 불확실성 집합 모델을 사용하여, 각 입력 주변의 ε-구내에서 변형된 입력에 대해 기여도 크기를 최대화함으로써 강건성을 확보한다.
• 와서슈타인 결합을 사용한 분포 기반 강건성 모델을 적용하여, 변형된 분포 하에서의 기여도 차이를 기대값으로 제한한다.
• 정규화를 위해 ℓ2 노름과 같은 크기 함수 s(·)를 사용하여 IG 기여도의 크기를 측정한다.
• 다양한 강건 최적화 모델 간의 이론적 연결 고리를 유도하며, 기여도 프레임워크 하에서 이들이 밀접하게 관련되어 있음을 보여준다.
• 일차원 네트워크로 일반화할 경우, 이 방법은 표준 소프트 마진 훈련으로 수렴하여 기존 연구와의 일致성을 검증한다.

실험 결과

연구 질문

• RQ1 강건 최적화 원리는 모델 예측에서 기여도 기반 분석으로 효과적으로 확장될 수 있는가?
• RQ2 입력 변형 상황에서 통합 기여도 기여도의 강건성을 공식적으로 정의하고 강제로 적용할 수 있는가?
• RQ3 기여도 정규화에 적용했을 때, 다양한 강건 최적화 모델 간의 이론적 관계는 어떠한가?
• RQ4 강건 기여도 정규화는 악성 공격 상황에서 샐런시 맵의 안정성을 어느 정도 향상시키는가?
• RQ5 제안된 방법은 강건성을 향상시키는 동안 통합 기여도의 이론적 축약 조건을 유지하는가?

주요 결과

• 강건 기여도 정규화로 훈련된 모델은 자연 모델 대비 최대 83% 높은 상위 100개의 교차율과 0.8338 Kendall 상관계수를 기록하며, 자연 모델은 각각 43%와 0.1293을 기록한다.
• IG-NORM 및 IG-SUM-NORM 변종은 ImageNet과 CIFAR-10을 포함한 모든 테스트 데이터셋에서 자연 모델을 초월하며, 순위 상관계수와 교차율에서 일관된 향상을 보였다.
• ImageNet-1k 데이터셋에서 이 방법은 Tigerlily에 대해 상위 1000개의 교차율 63.4%와 Kendall 상관계수 0.8201을 기록했으며, 자연 모델의 6.8%와 0.4653에 비해 뚜렷한 승리를 거두었다.
• 이 방법은 이론적 일관성을 유지하며, 일차원 네트워크의 경우 표준 소프트 마진 훈련으로 수렴하여 기존의 강건 학습 프레임워크와의 일致성을 확인한다.
• 실험 결과, 강건 기여도 훈련은 자연 모델이 파괴되는 소규모 변형 조건에서도 비록 시각적으로나 정량적으로나 더 안정적인 기여도를 제공함을 보여주었다.
• 결과적으로 현재의 최적화 기법과 네트워크 아키텍처는 여전히 강건 기여도 훈련의 잠재력을 최대로 발휘하지 못하고 있으며, 향후 방법론적 발전이 필요함을 시사한다.