[논문 리뷰] Explainable Deep Learning for Video Recognition Tasks: A Framework & Recommendations.

Liam Hiley, Alun Preece외 1명|arXiv (Cornell University)|2019. 09. 07.

Explainable Artificial Intelligence (XAI)참고 문헌 53인용 수 7

한 줄 요약

이 논문은 운동과 시간적 동적 특성을 고려한 시공간 설명 기법이 필요하다는 점을 강조하며, 비디오 인식 모델에 특화된 네이티브 해석 가능성 방법을 개발하기 위한 프레임워크를 제안한다. Grad-CAM 및 Grad-CAM++과 같은 이미지 기반 해석 가능성 접근 방식은 비디오 고유의 동적 특성을 포착하지 못하므로, 실시간으로 작동할 수 있고 경량화된 방법으로 사용자 맥락을 고려한 접근이 필요하다.

ABSTRACT

The popularity of Deep Learning for real-world applications is ever-growing. With the introduction of high performance hardware, applications are no longer limited to image recognition. With the introduction of more complex problems comes more and more complex solutions, and the increasing need for explainable AI. Deep Neural Networks for Video tasks are amongst the most complex models, with at least twice the parameters of their Image counterparts. However, explanations for these models are often ill-adapted to the video domain. The current work in explainability for video models is still overshadowed by Image techniques, while Video Deep Learning itself is quickly gaining on methods for still images. This paper seeks to highlight the need for explainability methods designed with video deep learning models, and by association spatio-temporal input in mind, by first illustrating the cutting edge for video deep learning, and then noting the scarcity of research into explanations for these methods.

연구 동기 및 목표

• 비디오 딥러닝 모델의 복잡도가 증가하고 있음에도 불구하고 비디오 전용 해석 가능성 방법의 부족을 해결하기 위해.
• 현재 사용 중인 해석 기법들이 이미지 인식에서 유도된 것으로서, 비디오의 시공간적 특성에 부적합하다는 점을 부각하기 위해.
• 시간적 동적 특성과 모델 복잡도를 존중하는 비디오 전용 해석 방법 개발을 위한 향후 연구를 이끌 프레임워크를 제안하기 위해.
• 감시 및 유사 응용 분야에 구현 가능한 실시간, 경량 해석 방법의 필요성을 강조하기 위해.
• 사용자 전문성과 해석 요청의 동기를 고려한 사용자 중심 설계의 중요성을 강조하기 위해.

제안 방법

• 이미지 기반 해석 가능성 방법(예: Grad-CAM, Deep Taylor)을 비디오 입력과 시공간 특징에 맞게 직접 설계하는 데로의 전환을 제안하기 위해.
• 시간적 일관성을 해치지 않도록, 프레임 단위 분해를 피하고 공간적 및 시간적 중요도를 통합한 설명을 고려하기 위해.
• 비디오 모델 내에서 운동 모델링에 기여하는 바가 크므로, 시간적 설명의 기초로 광학 흐름 필드를 사용할 것을 제안하기 위해.
• 한 개의 해석 가능한 이미지 안에서 공간적 및 시간적 관련성을 통합한 통합 시각적 설명의 개념을 도입하기 위해.
• 비전문가 사용자에게도 명확하고 신뢰할 수 있는 설명을 제공하기 위해, 사용자 역할과 사용 사례를 고려해 설명 시스템을 설계할 것을 권장하기 위해.
• 감시와 같은 응용 분야에서 실시간 구현을 지원하기 위해 계산 효율성을 강조하기 위해.

실험 결과

연구 질문

• RQ1 기존의 이미지 인식을 위한 해석 가능성 방법이 왜 비디오 인식 모델에 부적합한가?
• RQ2 비디오 데이터에 내재된 시공간적 구조를 유지할 수 있도록 해석 방법을 어떻게 설계할 수 있는가?
• RQ3 운동은 모델 결정 과정에서 어떤 역할을 하는가? 이를 설명에 어떻게 반영할 수 있는가?
• RQ4 어떻게 하면 실시간 구현에 적합한 가벼운 해석 방법을 만들 수 있는가?
• RQ5 비디오 AI 시스템에서 다양한 사용자 배경과 동기를 고려해 설명을 어떻게 맞춤화할 수 있는가?

주요 결과

• 현재 비디오 모델을 위한 해석 방법은 대부분 Grad-CAM 및 Deep Taylor와 같은 이미지 기반 기법에서 유도된 것으로, 시간적 동적 특성을 고려하지 못해 혼잡하거나 오해의 소지가 있는 시각화 결과를 초래한다.
• 비디오 설명을 프레임 단위로 분해하면 시간적 순서 이해가 손상되어 모델의 실제 결정 과정을 왜곡한다.
• 공간적 및 시간적 중요도를 통합한 하나의 해석 가능한 형식으로서, 네이티브 비디오 해석 방법의 필요성이 매우 크다.
• 광학 흐름 필드는 이미 많은 비디오 모델에서 운동을 인코딩하고 있으므로, 시간적 설명의 기초로 매우 유망한 기반으로 여겨진다.
• 감시와 같은 응용 분야에서 실시간 구현을 지원하기 위해 해석 방법은 계산적으로 효율적이어야 한다.
• 전문성과 목적을 포함한 사용자 맥락은 해석 설계에 반드시 반영되어야 하며, 특히 비기술자 스테이크홀더를 고려할 경우 명확성과 사용성 확보에 필수적이다.