[논문 리뷰] A Forward-Backward Approach for Visualizing Information Flow in Deep Networks

Aditya Balu, Thanh V. Nguyen외 3명|arXiv (Cornell University)|2017. 11. 16.

Explainable Artificial Intelligence (XAI)참고 문헌 5인용 수 6

한 줄 요약

이 논문은 깊이 합성곱 신경망 내 정보 흐름을 시각화하기 위한 새로운 전방-후방 해석 가능성(FBI) 프레임워크를 제안한다. 전방 활성화와 매트릭스 수반을 통한 후방 전파를 조합하고 적응형 마스킹을 적용하여 고해상도이자 수치적으로 안정된 중요도 맵을 생성한다. 이 방법은 참조 이미지가 필요하거나 복잡한 최적화가 요구되지 않는 점을 고려할 때, 기울기 기반 방법(예: 가이드드 백프로파게이션)보다 노이즈를 줄이고 해석 가능성을 향상시킨다.

ABSTRACT

We introduce a new, systematic framework for visualizing information flow in deep networks. Specifically, given any trained deep convolutional network model and a given test image, our method produces a compact support in the image domain that corresponds to a (high-resolution) feature that contributes to the given explanation. Our method is both computationally efficient as well as numerically robust. We present several preliminary numerical results that support the benefits of our framework over existing methods.

연구 동기 및 목표

• 이미지 내 객체 검출에 특화된 깊이 신경망의 해석 가능성 문제를 해결하기 위해.
• 기울기 기반 방법의 한계, 예를 들어 기울기 소실/폭발 문제와 높은 계산 비용을 해결하기 위해.
• 일부 기울기 안정화 기법에서 사용되는 임의의 참조 이미지에 의존하는 것을 제거하기 위해.
• 주어진 클래스 예측에 대해 관련된 이미지 영역을 강조하는 고해상도, 희박성 있고 수치적으로 안정적인 중요도 맵을 생성하기 위해.
• 원칙적이고 계산 효율적인 방식으로 전방 특징 활성화와 후방 정보 흐름을 통합하기 위해.

제안 방법

• 이 방법은 두 번의 전방 전파를 수행한다: 하나는 전방 활성화를 계산하기 위해, 다른 하나는 수반 연산을 사용해 클래스별 기울기를 후방으로 전파하기 위해.
• 각 레이어에서 후방 활성화는 전방 활성화와 요소별 곱셈을 통해 임계값 처리된 마스킹을 적용하여 관련된 특징만 유지한다.
• 풀링된 특징 맵의 값을 수용 영역 전체에 복제함으로써 언풀링을 수행하여 공간적 구조를 유지하고 DeconvNet에 비해 희박성을 감소시킨다.
• 전치 합성곱을 사용하여 필터 가중치를 뒤집어 피그먼트 수준의 중요도 맵을 재구성한다.
• 이 과정는 레이어 간에 반복되며, 총 활성화 크기 기반으로 상위-k 기여 특징 맵만 선택된다.
• 최종 출력은 예측된 클래스에 대해 가장 중요한 특징에 해당하는 픽셀 공간에서의 희박한 지원이다.

실험 결과

연구 질문

• RQ1 전방-후방 프레임워크는 기울기 기반 방법보다 더 높은 해상도와 더 안정적인 중요도 맵을 생성할 수 있는가?
• RQ2 전방 활성화를 체계적으로 후방 흐름과 조합하여 해석 가능성과 노이즈를 향상시킬 수 있는가?
• RQ3 기울기 안정화에서 참조 이미지가 필요 없이도 수치적 안정성을 유지할 수 있는가?
• RQ4 전방 활성화로 후방 활성화를 마스킹함으로써 특징 정렬과 희박성이 얼마나 향상되는가?
• RQ5 상위-k 필터의 선택이 결과 시각화의 품질과 구분 능력에 어떤 영향을 미치는가?

주요 결과

• FBI 방법은 특히 고해상도 이미지 영역에서 가이드드 백프로파게이션보다 노이즈가 적은 시각화를 생성한다.
• 상위 특징 맵의 50%를 사용하고 전방-후방 마스킹에 대해 임계값 10.0을 설정하면, 시각적으로 일관되고 구분 가능한 중요도 맵을 얻을 수 있다.
• 모든 필터를 사용하고 임계값을 설정하지 않을 경우, DeconvNet과 유사한 성능을 달성하지만, 더 뛰어난 안정성과 낮은 노이즈를 확보한다.
• 이 프레임워크는 계산적으로 효율적이며, 입력 이미지당 네트워크를 두 번만 전방 전파하면 된다.
• 기울기 기반 역전파 기울기 대신 행렬 수반과 임계값 처리에 의존함으로써 기울기 소실/폭발 문제를 피할 수 있다.
• 결과로 생성된 중요도 맵은 희박성 있고 해석 가능하며, 희박성은 임계값 매개변수 τ로 제어된다.