[논문 리뷰] Understanding Impacts of High-Order Loss Approximations and Features in Deep Learning Interpretation

Sahil Singla, Eric Wallace외 2명|arXiv (Cornell University)|2019. 02. 01.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 16

한 줄 요약

이 논문은 딥러닝 해석에서 고차 손실 근사과 특징 그룹화의 영향을 조사한다. 고신뢰도 ImageNet 분류에서 헤시안 항의 영향은 랭크-원 근사로 인해 미미하다는 것을 증명하며, L0-L1 리 릿지화를 통한 특징 그룹 정규화가 샐리언시 맵 품질과 해석 가능성에 크게 기여한다.

ABSTRACT

Current methods to interpret deep learning models by generating saliency maps generally rely on two key assumptions. First, they use first-order approximations of the loss function neglecting higher-order terms such as the loss curvatures. Second, they evaluate each feature's importance in isolation, ignoring their inter-dependencies. In this work, we study the effect of relaxing these two assumptions. First, by characterizing a closed-form formula for the Hessian matrix of a deep ReLU network, we prove that, for a classification problem with a large number of classes, if an input has a high confidence classification score, the inclusion of the Hessian term has small impacts in the final solution. We prove this result by showing that in this case the Hessian matrix is approximately of rank one and its leading eigenvector is almost parallel to the gradient of the loss function. Our empirical experiments on ImageNet samples are consistent with our theory. This result can have implications in other related problems such as adversarial examples as well. Second, we compute the importance of group-features in deep learning interpretation by introducing a sparsity regularization term. We use the $L_0-L_1$ relaxation technique along with the proximal gradient descent to have an efficient computation of group feature importance scores. Our empirical results indicate that considering group features can improve deep learning interpretation significantly.

연구 동기 및 목표

• 딥러닝 해석 방법에서 높은 차수의 손실 항(예: 헤시안 곡률)을 忽略할 경우의 영향을 조사하기 위해.
• 특징 간 상호의존성을 고려하지 않고 특징 중요도를 개별적으로 평가할 경우의 한계를 조사하기 위해.
• 희소성 정규화를 통해 그룹 단위 특징 중요도를 통합하여 더 나은 해석 가능성 확보를 위한 방법 개발하기 위해.
• 헤시안 기여가 고신뢰도 분류 시나리오에서 무시할 만큼 미미하다는 것을 이론적·실험적으로 검증하기 위해.
• 그룹 특징 분석이 딥 네ural 네트워크에서 더 정확하고 강건한 샐리언시 맵을 도출할 수 있음을 보여주기 위해.

제안 방법

• 다중 클래스 분류 설정 하에서 딥 ReLU 네트워크의 헤시안 행렬에 대한 폐쇄형 표현을 유도하기 위해.
• 고신뢰도 예측과 다수 클래스에서, 헤시안 행렬은 약간의 랭크-원이며, 주요 고유벡터는 손실 기울기와 거의 평행하다는 것을 증명하기 위해.
• L0-L1 리 릿지화 기법을 활용해 그룹 특징 중요도를 모델링하고, 프록시멀 기울기 강하를 통한 효율적 계산 가능하게 하기 위해.
• 개별 특징이 아닌 의미 있는 특징 그룹의 선택을 장려하는 희소성 정규화 항을 도입하기 위해.
• 이론적 주장의 검증을 위해 ImageNet에서의 경험적 평가를 수행하기 위해.
• 이론적 분석과 경험적 검증을 결합하여 곡률과 특징 그룹화가 샐리언시 맵에 미치는 영향 평가하기 위해.

실험 결과

연구 질문

• RQ1 고신뢰도 다중 클래스 분류 시나리오에서 헤시안 행렬이 샐리언시 맵에 얼마나 기여하는가?
• RQ2 특징 간 상호의존성을 忽略할 경우, 딥러닝 해석 품질이 어느 정도 악화되는가?
• RQ3 희소성 정규화를 통해 그룹 단위 특징 중요도를 통합하면 샐리언시 맵의 정확성과 강건성이 향상되는가?
• RQ4 고신뢰도 딥러닝 예측에서 헤시안 행렬과 기울기 간 이론적 관계는 무엇인가?
• RQ5 헤시안 기반 보정은 적대적 예제의 강건성과 모델 해석에 어떤 영향을 미치는가?

주요 결과

• 대규모 다중 클래스 문제에서 고신뢰도 예측를 하는 딥 ReLU 네트워크의 경우, 헤시안 행렬은 약간의 랭크-원이며 주요 고유벡터는 손실 기울기와 거의 평행하므로, 곡률 항이 샐리언시 맵에 미치는 영향은 미미하다는 것을 의미한다.
• ImageNet에서의 경험적 결과는 고신뢰도일 경우 헤시안 항을 포함하더라도 최종 샐리언시 맵에 미치는 영향이 거의 없음을 확인한다.
• 프록시멀 기울기 강하를 통한 제안된 L0-L1 리 릿지화는 그룹 특징 중요도 점수의 효율적 계산을 가능하게 한다.
• 정규화를 통해 그룹 특징을 통합하면 개별 특징 분석에 비해 해석 품질이 크게 향상된다.
• 이론적 및 경험적 결과는 고신뢰도 설정에서는 고차 손실 근사가 안전하게 忽略될 수 있음을 시사하며, 이는 해석 방법을 단순화할 수 있음을 의미한다.
• 결과는 적대적 예제의 강건성에 영향을 미칠 수 있으며, 기울기 방향과 헤시안 방향의 일치가 변형 민감도에 영향을 줄 수 있다.