[논문 리뷰] Visualizing Deep Networks by Optimizing with Integrated Gradients

Zhongang Qi, Saeed Khorram외 1명|arXiv (Cornell University)|2019. 05. 02.

Neural Networks and Applications인용 수 32

한 줄 요약

I-GOS는 마스크 최적화 프레임워크에서 통합 그래디언트를 하강 방향으로 사용하여 히트맵을 최적화하고, 네트워크 결정과 더 잘 일치하는 히트맷을 제공하며, 삭제/삽입 평가에서 기존 방법보다 우수합니다.

ABSTRACT

Understanding and interpreting the decisions made by deep learning models is valuable in many domains. In computer vision, computing heatmaps from a deep network is a popular approach for visualizing and understanding deep networks. However, heatmaps that do not correlate with the network may mislead human, hence the performance of heatmaps in providing a faithful explanation to the underlying deep network is crucial. In this paper, we propose I-GOS, which optimizes for a heatmap so that the classification scores on the masked image would maximally decrease. The main novelty of the approach is to compute descent directions based on the integrated gradients instead of the normal gradient, which avoids local optima and speeds up convergence. Compared with previous approaches, our method can flexibly compute heatmaps at any resolution for different user needs. Extensive experiments on several benchmark datasets show that the heatmaps produced by our approach are more correlated with the decision of the underlying deep network, in comparison with other state-of-the-art approaches.

연구 동기 및 목표

• 시각 인식 작업에서 CNN 의사결정에 대해 신뢰할 수 있고 모델과 정합하는 히트맵의 필요성을 제시한다.
• 지역적 최적해에 갇히지 않고 수렴이 느리다는 문제를 극복하는 히트맵 최적화 방법을 개발한다.
• 적분 그래디언트를 활용해 마스크 최적화를 안내하되, 적대적 마스크를 피하기 위한 정규화를 병행한다.
• 벤치마크 데이터셋과 해상도 전반에서 네트워크 의사결정과의 상관관계가 개선됨을 보여준다.

제안 방법

• 기준 이미지와 함께 히트맵 생성을 마스크 최적화 문제로 형식화한다.
• 일반 그래디언트를 적분 그래디언트로 대체하여 글로벌 최적해로의 하강을 유도한다.
• L1 및 전체변화(TV) 항을 통한 규제(regularization)를 도입해 부분적으로 매끄러운 마스크를 생성한다.
• 적분 그래디언트 기반 업데이트의 스텝 크기를 적응적으로 설정하기 위해 백트래킹 Armijo 선탐색을 사용한다.
• IG 계산 중 확률적 섭동을 도입하여 적대적 마스크를 완화하고 강건성을 개선한다.
• 섬세히 해상도에 따라 히트맵을 허용하며, 섭동 이전에 저해상도 마스크를 업샘플링하여 다양한 해상도의 히트맵을 허용한다.
• I-GOS 절차에 대한 Algorithm 1 스타일의 개요를 제공하고 수렴 고려사항을 논의한다.

실험 결과

연구 질문

• RQ1 히트맵 최적화에서 적분 그래디언트가 표준 그래디언트보다 더 신뢰할 수 있는 하강 방향을 제공할 수 있는가?
• RQ2 삭제 및 삽입 평가에서 I-GOS 히트맵이 이전 방법에 비해 모델의 의사결정 과정을 더 잘 반영하는가?
• RQ3 히트맵 해상도가 충실도, 강건성 및 계산 시간에 어떻게 영향을 미치는가?
• RQ4 해석 가능성을 보존하면서 적대적 히트맵을 가장 잘 방지하는 규제 및 섭동 전략은 무엇인가?

주요 결과

• I-GOS는 여러 해상도와 모델에 걸쳐 최첨단 히트맵 방법과 비교해 삭제 및 삽입 지표에서 우수한 성과를 달성한다.
• 마스크 최적화에서 그래디언트를 적분 그래디언트로 대체하면 수렴 속도가 빨라지고 네트워크 의사결정과의 정합성이 향상된다.
• 정규화(L1 및 전체 변동)와 섭동 전략은 적대적이거나 비정보적인 히트맷을 감소시키며, 특히 더 높은 해상도에서 효과가 있다.
• 본 방법은 히트맵 해상도에 유연성을 제공하고, 비교 가능한 섭동 기반 접근법보다 더 빠른 런타임을 보여준다.
• 적응형 스텝 크기를 갖는 라인-검색 기반 업데이트는 효율적인 최적화를 가능하게 하며 보통 열두 차례 이내에 수렴한다.