[논문 리뷰] On the Role of Event Boundaries in Egocentric Activity Recognition from Photostreams

Alejandro Cartas, Estefanía Talavera외 2명|arXiv (Cornell University)|2018. 09. 02.

Human Pose and Action Recognition참고 문헌 13인용 수 3

한 줄 요약

이 논문은 사진 스트림에서 자기 중심 활동 인식에 이벤트 경계가 미치는 영향을 조사하며, SR-클러스터링을 통해 자동으로 추출된 이벤트 세그먼트를 활용하는 방법을 제안하여 인식 성능을 향상시킨다. 15명의 사용자로부터의 하루 종일 사진 스트림을 담은 새로운 데이터셋을 사용하여, 이벤트 기반 시간 분할이 정확도를 크게 향상시킴을 입증한다—CNN+양방향 LSTM 모델을 사용할 경우 75.59%의 성능을 달성하며, 고정 크기 슬라이딩 윈도우 방식을 능가하며, 미리 보지 않은 사용자에게도 일반화 가능함을 시사한다.

ABSTRACT

Event boundaries play a crucial role as a pre-processing step for detection, localization, and recognition tasks of human activities in videos. Typically, although their intrinsic subjectiveness, temporal bounds are provided manually as input for training action recognition algorithms. However, their role for activity recognition in the domain of egocentric photostreams has been so far neglected. In this paper, we provide insights of how automatically computed boundaries can impact activity recognition results in the emerging domain of egocentric photostreams. Furthermore, we collected a new annotated dataset acquired by 15 people by a wearable photo-camera and we used it to show the generalization capabilities of several deep learning based architectures to unseen users.

연구 동기 및 목표

• 자기 중심 사진 스트림에서 활동 인식 성능 향상에 있어 이벤트 경계의 역할을 조사하는 것.
• 자기 중심 활동 인식에서 딥 러닝 모델이 새로운 사용자에게 일반화 가능한 능력을 갖추고 있는지 평가하는 것.
• 고정 크기 윈도우, 전체 시퀀스, 이벤트 기반 분할과 같은 다양한 시간 분할 전략이 인식 성능에 미치는 영향을 비교하는 것.
• 하루 종일 사진 스트림을 촬영한 15명의 사용자로부터 102,227장의 이미지를 포함한 새로운 애너테이션된 데이터셋을 제공하는 것.
• 특히 양방향 LSTMs를 포함한 딥 러닝 아키텍처가 이벤트 세그먼트 시퀀스로 훈련되었을 때의 효과성을 평가하는 것.

제안 방법

• 저자들은 15명의 사용자로부터 약 30초 간격으로 촬영한 총 102,227장의 이미지를 포함한 새로운 자기 중심 사진 스트림 데이터셋을 수집하였다.
• 이벤트 경계는 시각적 및 의미적 특징이 유사한 시간적으로 인접한 이미지를 군집화하는 SR-클러스터링을 통해 자동으로 추출되었다.
• 세 가지 딥 러닝 모델을 훈련시켰다: CNN+LSTM, CNN+양방향 LSTM, CNN+RF+LSTM이며, 전체 시퀀스와 이벤트 세그먼트 시퀀스 양쪽 모두를 사용하였다.
• 모델 평가에는 다양한 시간 분할 전략에 따른 정확도, 매크로-정밀도, 매크로-재현율, 매크로-F1 점수를 사용하였다.
• 기준 비교를 위해 고정 크기 세그먼트를 사용하는 슬라이딩 윈도우 방식을 사용하였다.
• 모든 모델에서 Xception 네트워크를 기본 CNN으로 사용하였으며, 이미지 임베딩에 대해 순환 네트워크를 활용해 시간 모델링을 수행하였다.

실험 결과

연구 질문

• RQ1 고정 크기 슬라이딩 윈도우 대비 자동으로 감지된 이벤트 경계를 통합할 경우 자기 중심 사진 스트림에서 활동 인식 성능이 향상되는가?
• RQ2 전체 시퀀스, 고정 크기 세그먼트, 이벤트 기반 분할과 같은 다양한 시간 분할 전략이 정확도와 강건성에 어떤 영향을 미치는가?
• RQ3 자기 중심 사진 스트림에서 훈련된 딥 러닝 모델이 새로운 사용자에게 얼마나 일반화되는가?
• RQ4 특히 짧은 테스트 시퀀스의 경우 이벤트 기반 분할이 성능 향상에 기여하는가?
• RQ5 이 설정에서 양방향 LSTMs와 단방향 LSTMs, RF 증강 모델 간의 상대적 성능은 어떠한가?

주요 결과

• CNN+양방향 LSTM 모델은 이벤트 세그먼트 시퀀스로 훈련했을 때 가장 높은 정확도 75.59%를 기록하여 모든 다른 모델을 능가했다.
• 이벤트 기반 분할(SR-클러스터링)은 두 개의 세 가지 LSTM 모델 중에서 고정 크기 슬라이딩 윈도우보다 성능을 향상시켰으며, 더 나은 시간적 일관성의 포착을 의미한다.
• CNN+양방향 LSTM 모델이 이벤트 세그먼트 데이터에서 매크로-F1 점수 51.21%를 기록하여 기준 슬라이딩 윈도우 방식보다 유의미하게 뛰어난 성능을 보였다.
• CNN+RF+LSTM 모델은 기준 모델보다 성능이 열등했으며, 특히 새로운 사용자에게서 과적합된 RF 구성 요소의 영향일 가능성이 크다.
• 모델 일반화 능력은 이벤트 경계를 사용했을 때 가장 효과적이었으며, 이는 새로운 사용자에 대한 매크로-재현율과 F1 점수 향상으로 확인되었다.
• 이벤트 분할은 장시간 시퀀스에서 특히 유익했으며, 반면 고정 크기 윈도우는 짧은 테스트 시퀀스에서 더 우수한 성능를 보였으며, 이는 시간적 맥락의 중요성을 강조한다.