[논문 리뷰] Interpretable Spatio-temporal Attention for Video Action Recognition

Lili Meng, Bo Zhao외 5명|arXiv (Cornell University)|2018. 10. 01.

Human Pose and Action Recognition참고 문헌 58인용 수 9

한 줄 요약

이 논문은 약한 지도 학습(행동 레이블만 존재하고 바운딩 박스나 프레임 수준의 레이블은 없음) 조건에서 상태의 기술보다 뛰어난 정확도를 달성하면서도 해석 가능한 시공간 주의 메커니즘을 제안한다. 이는 시각적 명암 마스크와 컨volutional LSTM을 사용하여 분류 가능한 공간 영역과 중요한 시간적 프레임에 초점을 맞추는 데 목적이 있다. 이로 인해 중요한 영역과 프레임을 정확하게 국소화할 수 있다.

ABSTRACT

Inspired by the observation that humans are able to process videos efficiently by only paying attention where and when it is needed, we propose an interpretable and easy plug-in spatial-temporal attention mechanism for video action recognition. For spatial attention, we learn a saliency mask to allow the model to focus on the most salient parts of the feature maps. For temporal attention, we employ a convolutional LSTM based attention mechanism to identify the most relevant frames from an input video. Further, we propose a set of regularizers to ensure that our attention mechanism attends to coherent regions in space and time. Our model not only improves video action recognition accuracy, but also localizes discriminative regions both spatially and temporally, despite being trained in a weakly-supervised manner with only classification labels (no bounding box labels or time frame temporal labels). We evaluate our approach on several public video action recognition datasets with ablation studies. Furthermore, we quantitatively and qualitatively evaluate our model's ability to localize discriminative regions spatially and critical frames temporally. Experimental results demonstrate the efficacy of our approach, showing superior or comparable accuracy with the state-of-the-art methods while increasing model interpretability.

연구 동기 및 목표

• 행동 레이블만 제공되는 약한 지도 학습 조건에서 공간적 및 시간적 분류 가능한 영역을 국소화함으로써 해석 가능한 주의 메커니즘을 제공하는 비디오 행동 인식 모델을 개발하는 것.
• 공간적 및 시간적 주의도 맵의 일관성을 강제하는 새로운 정규화 기법을 통해 모델 성능과 해석 가능성 향상.
• 주어진 바운딩 박스나 시간적 레이블 없이도 주의 메커니즘이 중요한 시각적 영역과 프레임을 국소화할 수 있음을 입증하는 것.
• 상태의 기술보다 경쟁적 또는 우수한 정확도를 달성하면서도 비디오 이해에서의 해석 가능성 유지.

제안 방법

• 각 프레임의 CNN 특징에 대해 학습 가능한 명암 마스크를 적용하는 공간 주의 메커니즘을 사용하여 중요한 영역을 강조한다.
• 비디오 시퀀스에서 가장 관련성이 높은 프레임을 식별하고 가중치를 매기기 위해 컨volutional LSTM 기반의 시간 주의 모듈을 활용한다.
• 공간적 매끄러움, 공간적 희소성, 시간적 일관성의 세 가지 정규화 기법을 적용하여 공간과 시간에 걸쳐 일관되고 해석 가능한 주의도를 확보한다.
• 공간적 및 시간적 차원에 걸쳐 소프트하고 미분 가능한 주의도를 통합하여 비디오 수준의 행동 레이블만으로도 엔드 투 엔드 학습이 가능하도록 한다.
• 분류 헤드에 입력하기 전에 주의도 가중치를 통해 특징를 감쇠시키는 방식을 사용하여 모델이 주목할 만한 시공간적 단서에 집중하도록 한다.
• 시간 국소화 평가를 위해 정규화된 시간 주의도 가중치에 임계값 전략(0.5)을 적용한다.

실험 결과

연구 질문

• RQ1 약한 지도 학습 조건에서 바운딩 박스 레이블 없이도 분류 가능한 공간적 영역을 국소화할 수 있는가?
• RQ2 동일한 모델이 시간적 레이블 없이도 행동 예측을 위한 핵심 시간적 프레임을 식별할 수 있는가?
• RQ3 공간적 및 시간적 정규화 기법은 주의도의 일관성과 모델 성능을 어떻게 향상시키는가?
• RQ4 제안된 주의 메커니즘은 상태의 기술 대비 경쟁적인 정확도를 달성하면서도 모델의 해석 가능성 향상을 이룰 수 있는가?

주요 결과

• THUMOS14에서 행동 수준의 레이블만 사용하여 분류 정확도를 74.45%에서 78.33%로 향상시켜 절대적 향상률 3.88%를 달성했다.
• UCF101-24에서 기준 모델 대비 공간 국소화 성능이 뛰어나며, 특히 낮은 IoU 임계값에서 두드러진 성능 향상을 보였다. 이는 진정한 바운딩 박스 없이도 성능 향상을 이룬 것이다.
• THUMOS14의 시간 행동 국소화에서 제안된 방법은 REINFORCE 및 UntrimmedNets를 모두 초월하여 모든 IoU 임계값에서 최상의 성능을 기록했다.
• 정성적 결과는 주의 메커니즘이 바이크 타는 동작 중 사지와 같은 핵심 행동 부분과 다수의 인물을 성공적으로 국소화함을 보여주었다. 이는 진정한 레이블이 단일 인물에 한정된 경우에도 성립한다.
• 모델은 약한 지도 학습 환경에서도 분류 가능한 영역과 프레임을 효과적으로 국소화하며, 밀도 높은 지도 없이도 강력한 해석 가능성을 입증했다.
• 제거 실험 결과는 제안된 정규화 기법이 주의도 일관성과 전체 성능 향상에 효과적임을 확인했다.