[논문 리뷰] VisualBackProp: efficient visualization of CNNs

Mariusz Bojarski, Anna Choromanska외 5명|arXiv (Cornell University)|2016. 11. 16.

Advanced Neural Network Applications참고 문헌 30인용 수 45

한 줄 요약

이 논문은 경량화된 기반의 백프로파게이션을 통해 특성 맵을 통해 기울기 대신 관련성 값을 역전파함으로써, CNN 예측에 가장 영향을 주는 입력 이미지 영역을 효율적으로 시각화하는 VisualBackProp을 소개한다. 이는 실시간 성능(마스크당 2.0ms)을 달성하며, LRP(Layer-wise Relevance Propagation) 수준의 시각화 품질을 유지하면서도 12배 빠르게 작동하여 자율주행과 같은 응용 분야에서 CNN의 실시간 디버깅에 이상적이다.

ABSTRACT

This paper proposes a new method, that we call VisualBackProp, for visualizing which sets of pixels of the input image contribute most to the predictions made by the convolutional neural network (CNN). The method heavily hinges on exploring the intuition that the feature maps contain less and less irrelevant information to the prediction decision when moving deeper into the network. The technique we propose was developed as a debugging tool for CNN-based systems for steering self-driving cars and is therefore required to run in real-time, i.e. it was designed to require less computations than a forward propagation. This makes the presented visualization method a valuable debugging tool which can be easily used during both training and inference. We furthermore justify our approach with theoretical arguments and theoretically confirm that the proposed method identifies sets of input pixels, rather than individual pixels, that collaboratively contribute to the prediction. Our theoretical findings stand in agreement with the experimental results. The empirical evaluation shows the plausibility of the proposed approach on the road video data as well as in other applications and reveals that it compares favorably to the layer-wise relevance propagation approach, i.e. it obtains similar visualization results and simultaneously achieves order of magnitude speed-ups.

연구 동기 및 목표

• 엔드 투 엔드 자율주행 시스템에서 CNN 예측을 해석하기 위한 실시간이고 효율적인 시각화 방법을 개발하는 것.
• 예측 결과에 가장 기여하는 입력 픽셀 영역을 특정하여, 차선 표시와 같은 의미 있는 시각적 단서를 집중적으로 분석하는 것.
• 기울기 기반 또는 히우리스틱 기반의 시각화 기법에 대한 이론적으로 타당한 대안을 제공하고, 관련성 전파의 증명 가능성을 확보하는 것.
• 전방전파 비용 이하로 계산 비용을 감소시켜 학습 및 추론 중 모두 실용적인 디버깅을 가능하게 하는 것.
• 자율주행 영상 데이터와 벤치마크 데이터셋에서 방법의 타당성을 검증하여, LRP와 유사한 정밀도를 확보하면서도 뚜렷한 속도 향상을 보여주는 것.

제안 방법

• VisualBackProp는 기울기 기반 방법 대신 값 기반의 백프로파게이션을 사용하여 최종 합성곱 레이어에서 입력 이미지로 관련성 값을 역전파한다.
• 최종 합성곱 레이어의 특성 맵에서 시작하여, 이는 고수준의 관련 정보를 담고 있으며, 역전파 과정에서 점차 공간 해상도를 증가시킨다.
• 네트워크 흐름 원리를 기반으로 한 기울기 없는 메시지 전달 방식을 사용하여 얕은 레이어의 고해상도 특징과 깊은 레이어의 고관련성 정보를 통합한다.
• 관련성은 보존 원칙을 사용하여 계층 간에 계층적으로 재분배되어 전체 관련성이 계층 간에 유지됨을 보장한다.
• 알고리즘은 각 입력 픽셀에 대해 관련성 점수를 계산하여, 예측에 가장 기여하는 영역을 강조표시한다.
• Torch7를 사용하여 GPU 가속을 구현하여 마스크당 약 2.0ms의 실시간 추론 성능을 달성한다.

실험 결과

연구 질문

• RQ1 기울기 기반이 아닌, 값 기반의 백프로파게이션 방법이 CNN 의사결정 과정을 신뢰할 수 있고 해석 가능한 방식으로 시각화할 수 있는가?
• RQ2 VisualBackProp는 자율주행 환경에서 차선 표시나 도로 가장자리와 같은 의미 있는 시각적 영역을 정확히 식별할 수 있는가?
• RQ3 특히 실시간 구현에서, VisualBackProp의 계산 효율성은 LRP와 같은 최첨단 기법과 비교해 어떻게 되는가?
• RQ4 정성적 및 정량적으로 볼 때, VisualBackProp의 시각화 결과가 LRP와 얼마나 유사한가?
• RQ5 VisualBackProp는 CNN이 조향 명령 예측 시 관련 없는 시각적 단서(예: 수평선)를 무시하는지 여부를 드러낼 수 있는가?

주요 결과

• VisualBackProp는 LRP가 생성하는 결과와 정성적으로 매우 유사한 시각화 마스크를 생성하여, 관련 영역을 정확히 식별하는 데 높은 정밀도를 보였다.
• GeForce GTX 970M에서 마스크당 2.0ms로 실행되어 LRP의 24.6ms 대비 12배 빠르며, 실시간 응용에 적합하다.
• 자율주행 데이터에서, 조도로 인해 부분적으로 가려져 있거나 시야에서 사라져도 VisualBackProp는 차선 표시를 주요 의사결정 단서로 정확히 식별했다.
• 조향 휠 각도 예측 시, 수평선이나 도로 표면 패턴과 같은 관련 없는 특징을 무시하도록 네트워크가 학습하고 있음을 확인했다.
• 높은 예측 오차 상황(예: -20.74° SWA)에서 VisualBackProp는 네트워크가 저품질 또는 모호한 시각적 단서에 집중하고 있음을 드러내어 진단적 통찰을 제공했다.
• ImageNet 및 독일 교통 표지판 검출 벤치마크에서의 실험 결과, VisualBackProp는 자율주행 외의 다양한 작업으로의 일반화 능력이 뛰어나며, 다양한 작업에서 뛰어난 성능을 유지함을 확인했다.