[논문 리뷰] Toyota Smarthome Untrimmed: Real-World Untrimmed Videos for Activity Detection

Rui Dai, Srijan Das외 5명|arXiv (Cornell University)|2020. 10. 28.

Context-Aware Activity Recognition Systems인용 수 8

한 줄 요약

이 논문은 자연스럽고 실제 생활 속에서 발생하는 활동을 포함하며 높은 시간적 변동성, 다중 시점 기록, 그리고 초등 및 복합 활동에 대한 조밀한 애너테이션을 특징으로 하는 새로운 비트림 영상 데이터셋인 Toyota Smarthome Untrimmed(TSU)을 소개한다. 변수적인 지속 시간과 낮은 카메라 프레임링 문제를 해결하기 위해 저자들은 RGB 특징 학습을 안내하는 데 광학 흐름을 활용하는 다중 모odal attention 기반 베이스라인을 제안하였으며, 이는 TSU와 Charades 양쪽 모두에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Designing activity detection systems that can be successfully deployed in daily-living environments requires datasets that pose the challenges typical of real-world scenarios. In this paper, we introduce a new untrimmed daily-living dataset that features several real-world challenges: Toyota Smarthome Untrimmed (TSU). TSU contains a wide variety of activities performed in a spontaneous manner. The dataset contains dense annotations including elementary, composite activities and activities involving interactions with objects. We provide an analysis of the real-world challenges featured by our dataset, highlighting the open issues for detection algorithms. We show that current state-of-the-art methods fail to achieve satisfactory performance on the TSU dataset. Therefore, we propose a new baseline method for activity detection to tackle the novel challenges provided by our dataset. This method leverages one modality (i.e. optic flow) to generate the attention weights to guide another modality (i.e RGB) to better detect the activity boundaries. This is particularly beneficial to detect activities characterized by high temporal variance. We show that the method we propose outperforms state-of-the-art methods on TSU and on another popular challenging dataset, Charades.

연구 동기 및 목표

• 노인 간병 환경에서의 일상 활동의 자연스러움과 복잡성을 반영하는 실제 세계의 비트림 영상 데이터셋이 부족한 문제를 해결하기 위해.
• 스クリ립트된 행동, 짧은 지속 시간, 고정된 카메라 프레임링, 조밀한 애너테이션 부족 등의 기존 데이터셋의 한계를 극복하여 더 현실적이고 다양한 벤치마크를 제공하기 위해.
• 높은 시간적 변동성, 다중 시점 변동성, 배경/전경 혼동 등의 실제 세계 도전 과제를 다룰 수 있는 강력한 베이스라인 방법을 개발하기 위해.
• 제안된 방법이 새로운 TSU 데이터셋과 기존의 Charades 데이터셋 양쪽에서 효과성을 입증함으로써 일반화 및 확장성의 가능성을 검증하기 위해.

제안 방법

• 제안된 방법은 RGB 모odal에서의 특징 학습을 안내하기 위해 광학 흐름을 모달로 사용하여 주의 가중치를 생성함으로써 시간 경계 검출 성능을 향상시킨다.
• 매우 다양하게 지속 시간이 변하는 활동을 다루기 위해 다중 시간 스케일 주의 메커니즘을 도입하여 짧은(예: 2–3초) 및 긴(예: 5–10분) 행동 모두 탐지 가능하게 한다.
• 주로 카메라 프레임링이 낮아 주체가 중심에 있지 않거나 부분적으로 가려지는 문제를 완화하기 위해 인간 영역 추출 기반 특징 추출을 적용한다.
• 다중 시점 환경에서는 3D 스켈레톤 데이터를 활용하여 시점 변화에 대한 강건성을 향상시킨다.
• 주의 메커니즘은 시간적 컨volution 네트워크(SD-TCN)에 통합되어 다양한 시간 스케일에서의 특징 표현을 향상시킨다.
• 모델은 RGB와 광학 흐름 입력을 사용하여 훈련되며, 향후 확장성을 높이기 위해 추론 시에는 RGB만을 사용한다.

실험 결과

연구 질문

• RQ1 자연스러운 행동, 높은 시간적 변동성, 다중 시점 기록 등의 실제 세계 도전 과제가 기존 활동 탐지 모델의 성능에 어떤 영향을 미치는가?
• RQ2 풍부하고 자연스러운 인간 행동을 포함한 비트림 영상 데이터셋에서 현재 최신 기술 수준(SOTA) 방법들이 얼마나 실패하는가?
• RQ3 광학 흐름을 활용해 RGB 특징을 안내하는 모달 주의 메커니즘이 복잡하고 실제 세계 환경에서의 탐지 정확도를 향상시킬 수 있는가?
• RQ4 제안된 방법이 새로운 TSU 데이터셋과 기존의 Charades 데이터셋에서 얼마나 효과적인가? 이는 일반화 능력을 시사하는가?
• RQ5 다중 시간 스케일 모델링은 매우 다양하게 지속 시간이 변하는 활동을 탐지하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 방법은 RGB + Flow 모달을 사용할 경우 TSU 데이터셋에서 기존 SOTA 방법보다 0.6% 높은 mAP 성능을 달성하여 최신 기술 수준 성능을 확보하였다.
• Charades 데이터셋에서는 22.3%의 mAP를 기록하여 이전 SOTA(I3D + 3 TGMs + Super event)를 초월하여, 새로운 벤치마크 외부에서도 효과성을 입증하였다.
• 데이터셋은 활동 지속 시간의 상당한 내부 클래스 변동성을 드러내었으며, 인스턴스는 2초에서 10분 이상까지 다양하게 분포되어 있어 시간 경계 검출의 과제를 강조한다.
• 기존 SOTA 방법들은 TSU에서 높은 성능을 내지 못하며, 이는 기존 모델이 자연스러운 행동과 다중 시점 기록과 같은 실제 세계의 변동성에 취약함을 시사한다.
• 주의 메커니즘이 높은 시간적 변동성을 가지는 활동, 특히 짧거나 비정형적인 지속 시간을 가진 활동의 탐지에 크게 기여한다.
• 광학 흐름을 사용해 주의 마스크를 생성함으로써 RGB 특징 학습이 향상되며, 특히 미세하거나 저대비 운동이 있는 상황에서 효과적이다.