[논문 리뷰] ReActNet: Temporal Localization of Repetitive Activities in Real-World Videos

Giorgos Karvounas, Iason Oikonomidis외 1명|arXiv (Cornell University)|2019. 10. 14.

Human Pose and Action Recognition인용 수 7

한 줄 요약

ReActNet은 깊이 학습된 특징에서 유도된 프레임 간 쌍별 거리 행렬을 통해 영상 프레임을 모델링하여 실생활 영상에서 반복적인 활동의 시간적 국소화를 위한 새로운 접근법을 제안한다. 경량 컨볼루션 네트워크를 사용하여 반복적 또는 비반복적 프레임으로 분류함으로써, 제한된 애너테이션 데이터가 있는 경우에도 강력한 일반화 능력을 보이며 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We address the problem of temporal localization of repetitive activities in a video, i.e., the problem of identifying all segments of a video that contain some sort of repetitive or periodic motion. To do so, the proposed method represents a video by the matrix of pairwise frame distances. These distances are computed on frame representations obtained with a convolutional neural network. On top of this representation, we design, implement and evaluate ReActNet, a lightweight convolutional neural network that classifies a given frame as belonging (or not) to a repetitive video segment. An important property of the employed representation is that it can handle repetitive segments of arbitrary number and duration. Furthermore, the proposed training process requires a relatively small number of annotated videos. Our method raises several of the limiting assumptions of existing approaches regarding the contents of the video and the types of the observed repetitive activities. Experimental results on recent, publicly available datasets validate our design choices, verify the generalization potential of ReActNet and demonstrate its superior performance in comparison to the current state of the art.

연구 동기 및 목표

• 운동 패턴이 비정상적이고 지속 시간과 실행 방식이 다양할 때 실생활 영상에서 반복적인 활동을 국소화하는 데 도전하는 것.
• 주기성이나 운동 유형에 대한 사전 가정 없이도 임의의 수와 지속 시간을 가진 반복 세그먼트를 탐지할 수 있는 방법을 설계하는 것.
• 큰 규모의 애너테이션 데이터셋에 의존도를 줄이고, 소수의 애너테이션 영상으로도 효과적인 학습이 가능하도록 하는 것.
• 학습 및 테스트 데이터의 콘텐츠 분포가 다를 경우에도 다양한 영상 데이터셋 간의 일반화 능력을 향상시키는 것.
• 정확한 반복 세그먼트 국소화를 통해 반복 횟수 세기 등의 후속 작업에 대한 견고한 기반을 제공하는 것.

제안 방법

• 영상은 사전 훈련된 컨볼루션 네트워크(예: VGG19 또는 I3D)를 사용해 추출한 깊이 학습된 특징에서 유도된 쌍별 프레임 거리 행렬로 표현된다.
• 프레임 표현은 컨볼루션 신경망에서 유도되며, 모든 프레임 쌍 간의 거리가 계산되어 시간적 관계를 포착한다.
• 경량 1D 컨볼루션 신경망인 ReActNet은 거리 행렬을 기반으로 각 프레임이 반복 세그먼트에 속하는지 여부를 분류한다.
• 모든 프레임에 대해 반복/비반복 레이블을 예측하기 위해 이진 교차 엔트로피 손실을 사용해 엔드 투 엔드로 네트워크를 훈련시킨다.
• 절대 시간에 대해 불변이며, 다양한 길이의 반복 동작, 포함되지 않은 여러 세그먼트를 처리할 수 있다.
• 표준 평가 지표인 재현율(R), 정밀도(P), F1 점수(F1), 오버랩(O)를 사용하여 평가하며, 일반화 능력을 평가하기 위해 다중 데이터셋 검증을 실시한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 지속 시간과 세그먼트 수가 임의로 변하는 실생활 영상에서 반복 활동을 효과적으로 국소화할 수 있는가?
• RQ2 원시 옵티컬 플로우나 운동 궤적보다 쌍별 프레임 거리 행렬을 사용할 경우 국소화의 강건성이 향상되는가?
• RQ3 콘텐츠 다양성과 애너테이션 품질이 다른 다양한 데이터셋 간에 ReActNet의 일반화 능력은 어느 정도인가?
• RQ4 높은 성능를 유지하면서도 대규모 애너테이션 데이터셋에 대한 의존도를 어느 정도 줄일 수 있는가?
• RQ5 제안된 표현 방식과 네트워크 아키텍처가 내부 및 외부 데이터셋 평가 모두에서 기존 최신 기술 수준(SOTA) 방법을 능가할 수 있는가?

주요 결과

• ReActNet은 QUVA 데이터셋에서 88.5%의 평균 F1 점수를 기록했으며, PERTUBE 데이터셋에서도 동일한 조건에서 88.5%의 F1 점수를 달성하여 기존 SOTA 방법을 초월했다.
• 다중 데이터셋 평가에서 PERTUBE에서 훈련하고 QUVA에서 테스트한 ReActNet은 F1 점수 88.5%, 오버랩 80.3%를 기록했으며, 이는 기존 SOTA 방법 대비 오버랩에서 18% 향상된 성능이다.
• 약한 변종인 ReActNet(기존 IDT 특징 사용)조차도 기존 SOTA 방법의 최고 성능 변종을 능가하여, 특징 선택과 무관하게 메서드의 강건성을 입증한다.
• 모델은 데이터셋 간에 잘 일반화되며, 다각도가 떨어지는 QUVA 데이터셋에서 훈련하고 PERTUBE에서 테스트할 경우 성능 저하가 미미하게 발생한다.
• 결과적으로 제안된 거리 행렬 표현 방식이 복잡한 다중 세그먼트 반복 활동을 효과적으로 탐지할 수 있음을 보여주며, 특히 겹치거나 지속 시간이 변하는 반복 활동이 포함된 영상에서 뛰어난 성능을 발휘한다.
• 제한된 훈련 데이터 조건에서도 높은 성능를 유지함으로써 샘플 효율성이 뛰어나고 실생활 적용 가능성도 높다는 점을 시사한다.