[논문 리뷰] Discriminating Spatial and Temporal Relevance in Deep Taylor Decompositions for Explainable Activity Recognition

Liam Hiley, Alun Preece외 3명|ORCA Online Research @Cardiff (Cardiff University)|2019. 08. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 15인용 수 8

한 줄 요약

이 논문은 영상 활동 인식을 위한 딥 테일러 분해에서 공간적 및 시간적 관련성을 분리하기 위한 사전적 방법을 제안한다. 운동 제거된 입력을 사용하여 운동 관련 중요도를 고립시킨다. 원래의 3D 설명에서 공간적 설명을 빼면 이전에 모호했던 운동 관련 영역이 드러나며, UCF-101에서 최소한의 계산 비용으로 해석 가능성 향상이 가능하다.

ABSTRACT

Current techniques for explainable AI have been applied with some success to image processing. The recent rise of research in video processing has called for similar work n deconstructing and explaining spatio-temporal models. While many techniques are designed for 2D convolutional models, others are inherently applicable to any input domain. One such body of work, deep Taylor decomposition, propagates relevance from the model output distributively onto its input and thus is not restricted to image processing models. However, by exploiting a simple technique that removes motion information, we show that it is not the case that this technique is effective as-is for representing relevance in non-image tasks. We instead propose a discriminative method that produces a naïve representation of both the spatial and temporal relevance of a frame as two separate objects. This new discriminative relevance model exposes relevance in the frame attributed to motion, that was previously ambiguous in the original explanation. We observe the effectiveness of this technique on a range of samples from the UCF-101 action recognition dataset, two of which are demonstrated in this paper.

연구 동기 및 목표

• 3D 영상 입력에 적용할 때 공간적 및 시간적 관련성이 혼동되는 딥 테일러 분해의 모호함을 해결하기 위해.
• 운동 관련 관련성을 공간적 특징에서 명시적으로 분리하여 스파티오-temporal 딥 러닝 모델의 해석 가능성을 향상시키기 위해.
• 표준 3D 설명에서 주로 공간적 경계 반응이 지배하기 때문에 운동 관련 영역이 가림을 받는다는 것을 입증하기 위해.
• 영상 모델에서 운동 전용 관련성을 추출하고 시각화하기 위한 경량이며 계산 비용이 낮은 방법을 제공하기 위해.

제안 방법

• 이 방법은 클립 내 프레임을 평균화하여 시간적 동적 요소를 효과적으로 제거함으로써 공간적 특성만 포함된 입력을 생성하는 운동 제거 기법을 사용한다.
• 이 운동 제거된 입력에 대해 딥 테일러 분해를 적용하여 공간적 기여도만 반영하는 공간적 관련성 맵을 생성한다.
• 원래의 3D 설명에서 공간적 관련성 맵을 빼면 운동에 기인한 잔여 관련성만 고립된다.
• 이로 인해 이동하는 사지나 물체와 같은 운동 관련 영역을 명시적으로 시각화할 수 있는 분류적 관련성 모델이 도출된다.
• 이 방법은 딥 테일러 분해의 입력 도메인 무관성 특성을 활용하여, 다양한 스파티오-temporal 모델에 적용 가능하다.
• 이 방법은 UCF-101에서 여러 영상 샘플에 대해 원래 설명, 공간적 전용 설명, 운동 전용 설명 간 비교를 통해 검증된다.

실험 결과

연구 질문

• RQ1 딥 테일러 분해는 3D 영상 입력에서 공간적 및 시간적 관련성을 효과적으로 구분할 수 있는가, 아니면 본질적으로 혼동되는가?
• RQ2 표준 3D 설명 맵에서 공간적 경계의 지배로 인해 영상 클립의 운동 정보가 어느 정도 모호하게 남는가?
• RQ3 어떻게 단순하고 저비용의 방법으로 영상 활동 인식 모델에서 운동 관련 영역을 고립시킬 수 있는가?
• RQ4 제안된 방법은 표준 딥 테일러 설명보다 더 정확하고 해석 가능한 중요도 패턴을 드러내는가?
• RQ5 공간적 및 시간적 관련성의 분리는 벤치마크 데이터셋 내 다양한 영상 동작에 대해 일반화 가능한가?

주요 결과

• 원래의 딥 테일러 설명은 공간적 및 시간적 관련성을 혼동하여 대부분의 경계와 질감을 관련성이 있는 것으로 표시하며 정적 배경 요소까지 포함한다.
• 운동 제거된 입력은 공간 전용 설명을 생성하며, 잔디, 벽, 프레임 경계와 같은 정적 요소를 강조함으로써 표준 설명에서 공간적 지배가 확인된다.
• 원래 3D 설명에서 공간적 설명을 빼면 이전에 가려져 있던 운동 관련 영역(예: 움직이는 몸통, 사지)이 고립된다.
• 풀업 영상에서는 운동 관련성이 움직임의 최고점과 최저점에서 피크를 이룬다. 이는 운동 변화가 급격한 순간과 일치한다.
• 테니스 스트로크 영상에서는 스윙하는 팔과 공에 걸쳐 운동 관련성이 일관되게 분포되어 있으며, 세밀한 운동 중요도 패턴을 보여준다.
• 모델의 예측이 운동이 명시적으로 고립되지 않은 경우 공간적 특징에 의해 오도될 수 있음을 확인했으며, 이는 프레임 전용 예측이 다른 동작으로 이동하는 것으로 나타난다.