[논문 리뷰] Explaining Motion Relevance for Activity Recognition in Video Deep Learning Models

Liam Hiley, Alun Preece외 4명|arXiv (Cornell University)|2020. 03. 31.

Explainable Artificial Intelligence (XAI)인용 수 14

한 줄 요약

이 논문은 3D CNN 기반의 비디오 활동 인식 모델에서 운동 특화 설명을 고립하고 강화하기 위한 후처리 방법인 선택적 관련성(selective relevance)을 제안한다. 표준 2D 시각화 맵에서 공간적으로 우세한 비운동 관련 영역을 걸러내어 설명의 선택성과 인간의 운동 인식과의 일치도를 향상시킨다. 이는 3D CNN 모델이 운동보다 공간적 맥락에 크게 편향되어 있음을 드러낸다.

ABSTRACT

A small subset of explainability techniques developed initially for image recognition models has recently been applied for interpretability of 3D Convolutional Neural Network models in activity recognition tasks. Much like the models themselves, the techniques require little or no modification to be compatible with 3D inputs. However, these explanation techniques regard spatial and temporal information jointly. Therefore, using such explanation techniques, a user cannot explicitly distinguish the role of motion in a 3D model's decision. In fact, it has been shown that these models do not appropriately factor motion information into their decision. We propose a selective relevance method for adapting the 2D explanation techniques to provide motion-specific explanations, better aligning them with the human understanding of motion as conceptually separate from static spatial features. We demonstrate the utility of our method in conjunction with several widely-used 2D explanation methods, and show that it improves explanation selectivity for motion. Our results show that the selective relevance method can not only provide insight on the role played by motion in the model's decision -- in effect, revealing and quantifying the model's spatial bias -- but the method also simplifies the resulting explanations for human consumption.

연구 동기 및 목표

• 3D CNN 모델의 비디오 활동 인식에서 운동 특화 해석 가능성의 부족을 해결하기 위해.
• 설명 맵에서 시간적(운동)과 공간적(맥락) 관련성을 분리하여 인간이 모델 결정을 더 잘 이해할 수 있도록 하기 위해.
• 모델 아키텍처를 수정하지 않고도 3D CNN의 공간적 편향 정도를 정량화하기 위해.
• 기존 2D 설명 기법을 향상시키기 위한 경량의 후처리 방법을 제공하기 위해.
• 간소화된 운동 중심 설명을 통해 실시간 모델 동작 디버깅 및 분석을 가능하게 하기 위해.

제안 방법

• 시공간 특징 맵에 2D 시각화 기법(예: GradCAM, Guided Backpropagation)을 적용하여 3D 비디오 입력에 적응시킨다.
• 광학 흐름 기반의 운동 민감도 임계값 처리를 통해 설명 맵 내에서 오직 운동 관련 영역만 유지한다.
• 운동을 대체로 나타내기 위해 광학 흐름을 사용하여 시간적 변화를 고립하는 운동 마스크를 계산한다.
• 원본 설명 맵과 운동 마스크를 곱하여 선택적 관련성을 적용함으로써 공간적으로 우세한 비운동 특징를 제거한다.
• 데이터 기반 임계값(예: 평균에서 표준편차 2배)을 사용하여 선택성 제어를 통해 관련성 유지와 노이즈 감소의 균형을 이룬다.
• 다양한 기준 설명 기법에 대해 방법을 검증하여 운동 표현 향상의 일관성과 개선 정도를 평가한다.

실험 결과

연구 질문

• RQ1 표준 2D 설명 기법이 3D CNN에서 운동과 공간 맥락을 얼마나 잘 구분하지 못하는가?
• RQ2 후처리 필터링 방법이 3D CNN 설명에서 운동 관련 영역을 효과적으로 고립할 수 있는가?
• RQ3 선택적 관련성은 시간적 영상 작업을 위한 모델 설명의 해석 가능성과 선택성에 어떻게 기여하는가?
• RQ4 선택적 관련성을 통해 드러난 3D CNN의 활동 인식에서 공간적 편향 정도는 어느 정도인가?
• RQ5 선택적 관련성은 다양한 설명 기법과 인간의 운동 인식 간의 일치도를 향상시키는가?

주요 결과

• 선택적 관련성은 모든 테스트된 기준 기법에서 일관되게 운동 표현을 향상시켜 비관련 공간적 잡음을 줄였다.
• 이 방법은 3D CNN 모델이 분류 결정에서 공간적 특징에 크게 편향되어 있음을 드러내었으며, 운동은 결정에 미미한 영향을 미친다.
• DTD (Deep Taylor Decomposition)는 선택적 관련성에서 가장 큰 이점을 얻었으며, GradCAM 및 Guided GradCAM 수준의 정밀도를 달성하고 맥락 노이즈를 가장 크게 감소시켰다.
• GradCAM 및 Guided GradCAM 설명도 단순화되었지만, 종종 너무 많은 관련성을 제거하여 흐릿하거나 정보가 부족한 맵이 되는 경향이 있다.
• 선택적 관련성 방법은 최소한의 계산 비용만 추가하므로 실시간 모델 디버깅 및 분석에 적합하다.
• 기존 기준 설명 기법 간의 관련성 분포에 낮은 일치도가 있었지만, 선택적 관련성은 일관성을 향상시키고 인간의 운동 인식과 일치시켰다.