[논문 리뷰] A Comprehensive Study on Visual Explanations for Spatio-temporal Networks.

Zhenqiang Li, Weimin Wang외 3명|arXiv (Cornell University)|2020. 05. 01.

Multimodal Machine Learning Applications참고 문헌 34인용 수 4

한 줄 요약

이 논문은 영상 입력을 처리하는 시공간 신경망을 위한 기울기 기반 및 펄럭임 기반 기여도 방법에 대한 종합적인 평가를 제시한다. 2D 펄럭임 방법을 3D 영상 데이터로 확장하고, 보완적인 목적 평가 지표를 도입하여, 기여도 방법이 목적 평가 기준과 주관적 평가 기준에서 서로 반대되는 성능을 보임을 밝혀냈다.

ABSTRACT

Identifying and visualizing regions that are significant for a given deep neural network model, i.e., attribution methods, is still a vital but challenging task, especially for spatio-temporal networks that process videos as input. Albeit some methods that have been proposed for video attribution, it is yet to be studied what types of network structures each video attribution method is suitable for. In this paper, we provide a comprehensive study of the existing video attribution methods of two categories, gradient-based and perturbation-based, for visual explanation of neural networks that take videos as the input (spatio-temporal networks). To perform this study, we extended a perturbation-based attribution method from 2D (images) to 3D (videos) and validated its effectiveness by mathematical analysis and experiments. For a more comprehensive analysis of existing video attribution methods, we introduce objective metrics that are complementary to existing subjective ones. Our experimental results indicate that attribution methods tend to show opposite performances on objective and subjective metrics.

연구 동기 및 목표

• 기존의 영상 기여도 방법—기울기 기반 및 펄럭임 기반—이 다양한 시공간 네트워크 아키텍처에 적합한지 조사하기 위해.
• 수학적 및 실험적 검증을 통해 2D 펄럭임 기반 기여도 방법을 3D 영상 데이터로 확장하기 위해.
• 기존의 주관적 평가를 보완하는 목적 평가 지표를 도입하여 영상 기여도의 질을 인간의 판단과 독립적으로 측정하기 위해.
• 영상 설명 작업에서 기여도 방법의 목적 평가와 주관적 평가 간의 괴리 현상을 분석하기 위해.

제안 방법

• 시공간 볼륨인 영상 텐서에 적합한 시각화 계산 방식을 적용하여 2D 펄럭임 기반 기여도 방법을 3D로 확장하였다.
• 공간적 및 시간적 차원에 걸쳐 마스킹 전략을 사용하여 영상의 영향력 있는 세그먼트를 식별함으로써 3D 펄럭임 방법을 수식적으로 정의하였다.
• 모델의 강건성과 특징 민감도를 기반으로 한 새로운 목적 평가 지표를 제안하여 인간의 판단과 무관하게 기여도 품질을 정량화하였다.
• 다양한 영상 분류 모델을 대상으로 통제된 실험을 수행하여 목적 평가 및 주관적 평가 모두에서 기여도 방법을 비교하였다.
• 수학적 분석을 통해 확장된 3D 펄럭임 방법의 이론적 일관성을 검증하였다.
• 정성적 시각화와 정량적 지표를 결합하여 기여도의 정확성과 안정성을 평가하였다.

실험 결과

연구 질문

• RQ1 기울기 기반 및 펄럭임 기반 영상 기여도 방법에 가장 적합한 시공간 네트워크 아키텍처의 유형은 무엇인가?
• RQ2 기여도의 해석 가능성과 정확성을 유지하면서 2D 펄럭임 기반 기여도 방법을 3D 영상 데이터로 효과적으로 확장할 수 있는 방법은 무엇인가?
• RQ3 목적 평가 지표와 영상 설명의 주관적 인간 평가 간의 상관관계는 어느 정도인가?
• RQ4 기여도 방법이 목적 평가 기준과 주관적 평가 기준 모두에서 일관된 성능을 보이는가?

주요 결과

• 확장된 3D 펄럭임 기반 방법은 다양한 영상 데이터셋에서 일관되고 안정적인 기여도 맵을 보였으며, 수학적 분석과 실험 결과로 검증되었다.
• 목적 평가 지표는 일부 기여도 방법이 인간 평가자로부터 높은 주관적 점수를 받았음에도 불구하고 낮은 성능을 보임을 드러냈다.
• 중요한 성능 괴리가 관찰되었는데, 주관적 평가에서 높은 점수를 받은 방법은 목적 평가 지표에서는 낮은 성능을 보였고, 그 반대의 경우도 있었다.
• 이 연구는 단지 주관적 평가에 의존할 경우 기여도 방법의 품질에 대해 오해의 소지가 있음을 확인하였다.
• 제안된 목적 평가 지표는 모델의 민감도와 강건성을 효과적으로 캡처하여 인간 판단과 대체 가능한 신뢰할 수 있는 평가 방법을 제공하였다.
• 기울기 기반 방법은 특히 장거리 시간적 추론 작업에서 펄럭임 기반 방법보다 더 높은 입력 변화에 대한 민감도를 보였다.