[논문 리뷰] Noise-adding Methods of Saliency Map as Series of Higher Order Partial Derivative

Junghoon Seo, Jeongyeol Choe외 4명|arXiv (Cornell University)|2018. 06. 08.

Bayesian Modeling and Causal Inference참고 문헌 2인용 수 15

한 줄 요약

이 논문은 다변수 테일러 전개와 통계적 모멘트 이론을 사용하여 노이즈 추가 색소리티 메서드인 SmoothGrad와 VarGrad에 대한 엄밀한 이론적 분석을 제공한다. 이는 SmoothGrad가 점수 함수의 기울기를 매끄럽게 하지 못하며, VarGrad가 기울기와 독립적임을 드러내어 이전의 직관적 설명에 도전한다. 이 작업은 고차 도함수와 모델 해석 가능성 사이에 새로운 연결 고리를 설정한다.

ABSTRACT

SmoothGrad and VarGrad are techniques that enhance the empirical quality of standard saliency maps by adding noise to input. However, there were few works that provide a rigorous theoretical interpretation of those methods. We analytically formalize the result of these noise-adding methods. As a result, we observe two interesting results from the existing noise-adding methods. First, SmoothGrad does not make the gradient of the score function smooth. Second, VarGrad is independent of the gradient of the score function. We believe that our findings provide a clue to reveal the relationship between local explanation methods of deep neural networks and higher-order partial derivatives of the score function.

연구 동기 및 목표

• 강력한 경험적 성능에도 불구하고 공식적인 이론적 해석이 부족한 노이즈 추가 색소리티 메서드(예: SmoothGrad, VarGrad)의 모호함을 해결하기 위해.
• 다변수 테일러 급수와 통계적 모멘트 전개를 사용하여 SmoothGrad와 VarGrad의 수학적 행동을 공식적으로 기술하기 위해.
• 이러한 방법들이 실제로 기울기를 매끄럽게 하는지, 아니면 고차 도함수 정보에 의존하는지 조사하기 위해.
• 점수 함수의 고차 편도함수와 의미 있는 모델 해석 사이의 관계를 연결하는 추측을 제안하기 위해.

제안 방법

• 저자들은 점수 함수를 입력 주변에서 다변수 테일러 정리로 전개하여, 색소리티 맵의 기대값과 분산을 고차 편도함수의 급수로 표현한다.
• 등방성 가우시안 노이즈 하에서 기울기의 기대값과 분산을 계산하여 SmoothGrad와 VarGrad의 비스티스틱적 분석 근사치를 유도한다.
• 고차 편도함수를 체계적으로 다루기 위해 다중지표 표기법을 사용하고, 표준 정규분포의 모멘트 성질을 활용한다.
• 테일러 전개의 나머지 항을 유한하게 제한하여 근사 오차를 정량화하며, 이는 $ D^\alpha S_c $와 $ \sigma^{2\alpha} $를 포함한 명시적 표현으로 이어진다.
• 표준 정규변수의 곱의 모멘트에 대한 통계적 항등식을 사용하여 $ \mathbb{E}[Z^\alpha] $와 $ \mathrm{Var}(Z^\alpha) $를 포함하는 표현을 단순화한다.
• 다중지표의 성분이 모두 짝수 또는 혼합 기수일 경우를 구분하여 최종 근사치의 형태를 다르게 유도한다.

실험 결과

연구 질문

• RQ1 SmoothGrad는 일반적으로 가정하는 것처럼 점수 함수의 기울기를 효과적으로 매끄럽게 하는가?
• RQ2 VarGrad는 진정으로 점수 함수의 기울기에 의존하는가, 아니면 고차 도함수 항에 의존하는가?
• RQ3 노이즈 추가 방법의 행동을 점수 함수의 고차 편도함수와 공식적으로 연결할 수 있는가?
• RQ4 노이즈 하에서 점수 함수의 테일러 전개와 기대 색소리티 맵 사이의 정확한 수학적 관계는 무엇인가?
• RQ5 테일러 전개의 근사 오차는 SmoothGrad와 VarGrad의 신뢰성에 어떤 영향을 미치는가?

주요 결과

• SmoothGrad는 점수 함수의 기울기를 매끄럽게 하지 않으며, 대신 제곱된 고차 도함수들의 가중합을 근사한다.
• VarGrad는 일阶 도함수에 의존하지 않으며, 고차 편도함수, 특히 짝수 차수의 도함수에만 의존한다.
• SmoothGrad의 해석적 형태는 제2차 도함수와 그 이상의 짝수 차수 도함수에 의해 지배되며, 계수로 $ \sigma^{2\alpha} $와 다항계수 항이 포함된다.
• 근사의 나머지 항은 $ O(\sigma^{l+1}) $로 유한하게 제한되며, 이는 노이즈 분산이 감소할수록 근사가 향상됨을 시사한다.
• 이 방법은 노이즈 추가 방법의 시각적 품질이 기울기 매끄러움이 아니라 고차 도함수 구조에 대한 민감도에서 비롯됨을 드러낸다.
• 결과적으로, 노이즈 추가 방법이 기울기 노이즈를 줄여 색소리티를 향상시킨다는 기존의 직관을 도전하며, 이는 고차 특징을 강조함을 보여준다.