[논문 리뷰] Single Image Action Recognition by Predicting Space-Time Saliency

Marjaneh Safaei, Hassan Foroosh|arXiv (Cornell University)|2017. 05. 12.

Visual Attention and Saliency Detection참고 문헌 80인용 수 4

한 줄 요약

이 논문은 단일 이미지에서 행동 인식을 위한 새로운 딥러닝 접근법을 제안하며, 향후 운동(광학 흐름을 통해)과 시각적 중요도 맵을 예측하여 부족한 시간 정보를 복구한다. 이미지를 예측된 광학 흐름-시각적 중요도 맵(POF-SM) 도메인으로 매핑하고 사전 훈련된 CNN을 미세조정함으로써, 200만 개 이상의 이미지를 포함하는 새로운 대규모 UCF Still Image 데이터셋(UCFSI-101)과 Willow 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a novel approach based on deep Convolutional Neural Networks (CNN) to recognize human actions in still images by predicting the future motion, and detecting the shape and location of the salient parts of the image. We make the following major contributions to this important area of research: (i) We use the predicted future motion in the static image (Walker et al., 2015) as a means of compensating for the missing temporal information, while using the saliency map to represent the the spatial information in the form of location and shape of what is predicted as significant. (ii) We cast action classification in static images as a domain adaptation problem by transfer learning. We first map the input static image to a new domain that we refer to as the Predicted Optical Flow-Saliency Map domain (POF-SM), and then fine-tune the layers of a deep CNN model trained on classifying the ImageNet dataset to perform action classification in the POF-SM domain. (iii) We tested our method on the popular Willow dataset. But unlike existing methods, we also tested on a more realistic and challenging dataset of over 2M still images that we collected and labeled by taking random frames from the UCF-101 video dataset. We call our dataset the UCF Still Image dataset or UCFSI-101 in short. Our results outperform the state of the art.

연구 동기 및 목표

• 시간 정보가 없는 단일 이미지에서 인간 행동 인식의 과제를 해결하기 위해.
• 사람의 인지 능력을 활용하여 향후 운동과 주목할 만한 신체 부위를 행동 인식의 단서로 삼기 위해.
• 새로운 POF-SM 특징 공간을 통한 도메인 적응을 통해 제한된 행동 클래스 데이터셋에서 성능을 향상시키기 위해.
• UCF-101 영상에서 추출한 200만 장의 단일 이미지로 구성된 대규모이고 현실적인 데이터셋을 구축하고 평가하기 위해.
• 예측된 운동과 공간적 시각적 중요도가 정적 이미지에서 행동 인식에 강력한 구분 능력을 제공함을 입증하기 위해.

제안 방법

• 이 방법은 단일 이미지에서 밀도 광학 흐름 예측을 위한 사전 훈련된 모델을 사용하여 이미지 내 향후 운동을 예측한다 (Walker et al., 2015).
• 이미지 내 공간적으로 중요한 신체 부위와 그 형태를 식별하기 위해 시각적 중요도 맵을 생성한다.
• 예측된 흐름과 시각적 중요도 맵을 조합하여 입력 이미지를 새로운 도메인인 예측된 광학 흐름-시각적 중요도 맵(POF-SM) 도메인으로 변환한다.
• 사전 훈련된 ImageNet CNN을 POF-SM 도메인에서 미세조정하여 전이 학습을 활용해 도메인 적응을 수행한다.
• 원본 영상에서 액션 레이블을 유지한 채 UCF-101 영상에서 추출한 200만 장의 정적 이미지로 구성된 대규모 데이터셋을 사용한다.
• 일반화성과 강인성을 검증하기 위해 표준 Willow 데이터셋과 새로 도입된 UCFSI-101 데이터셋에서 평가를 수행한다.

실험 결과

연구 질문

• RQ1 단일 이미지 내에서 예측된 향후 운동과 공간적 시각적 중요도가 정확한 행동 인식을 위한 충분한 단서를 제공할 수 있는가?
• RQ2 정적 이미지를 POF-SM 도메인으로 매핑하는 것이 표준 이미지 표현 방식보다 행동 인식 성능을 향상시키는가?
• RQ3 ImageNet에서 POF-SM 도메인으로의 전이 학습이 깊이 신경망을 단일 이미지 행동 인식 작업에 효과적으로 적응시키는가?
• RQ4 예측된 영상에서 추출한 대규모이고 현실적인 정적 이미지 데이터셋에서 제안된 방법의 성능은 어떠한가?
• RQ5 모델이 인간-물체 상호작용이 아닌 신체 운동에 의존하는 행동으로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 Willow 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존의 단일 이미지 행동 인식 접근법을 모두 능가한다.
• 200만 장 이상의 이미지를 포함하는 새로 도입된 UCFSI-101 데이터셋에서, 이전 최신 기술 수준의 방법들보다 뚜렷하게 뛰어난 성능을 보였다.
• 예측된 광학 흐름과 시각적 중요도 맵의 조합은 정적 이미지에서 시간 정보의 부족을 상쇄하는 강력한 구분 특징을 제공한다.
• 사전 훈련된 ImageNet CNN을 POF-SM 도메인에서 미세조정함으로써 성능 향상이 크게 이루어졌으며, 이는 도메인 적응 전략의 효과성을 입증한다.
• 물체 상호작용이 아닌 신체 운동에 의존하는 행동으로도 잘 일반화되며, 맥락적 물체가 없는 상황에서도 강인함을 보였다.
• 결과는 인간처럼 향후 운동을 예측하고 주목할 만한 신체 부위에 주의를 기울이는 것이 정적 이미지 행동 인식에 강력한 사전 지식임을 확인한다.