[논문 리뷰] MITFAS: Mutual Information based Temporal Feature Alignment and Sampling for Aerial Video Action Recognition

Ruiqi Xian, Xijun Wang외 1명|arXiv (Cornell University)|2023. 03. 05.

Human Pose and Action Recognition인용 수 4

한 줄 요약

MITFAS는 드론 영상 행동 인식에서 고고도 카메라 시야, 시점 변화, 가림 현상 등의 과제를 해결하기 위해 상호정보기반 시간적 특징 정렬 및 프레임 샘플링 방법을 제안한다. 운동 관련 특징을 프레임 간에 정렬하고, 공동 상호정보량을 사용해 가장 정보가 풍부한 프레임 시퀀스를 선택함으로써, UAV-Human에서 SOTA 대비 18.9% 높은 Top-1 정확도, Drone-Action에서 7.3%, NEC Drones에서 7.16% 향상된 성능을 달성한다.

ABSTRACT

We present a novel approach for action recognition in UAV videos. Our formulation is designed to handle occlusion and viewpoint changes caused by the movement of a UAV. We use the concept of mutual information to compute and align the regions corresponding to human action or motion in the temporal domain. This enables our recognition model to learn from the key features associated with the motion. We also propose a novel frame sampling method that uses joint mutual information to acquire the most informative frame sequence in UAV videos. We have integrated our approach with X3D and evaluated the performance on multiple datasets. In practice, we achieve 18.9% improvement in Top-1 accuracy over current state-of-the-art methods on UAV-Human(Li et al., 2021), 7.3% improvement on Drone-Action(Perera et al., 2019), and 7.16% improvement on NEC Drones(Choi et al., 2020).

연구 동기 및 목표

• 고고도 카메라 시야로 인해 작고 변동성이 큰 인간 행동을 다루는 과제를 해결하기 위해.
• 공중 영상 행동 인식에서 시점 변화, 가림, 동적인 배경으로 인한 과제를 극복하기 위해.
• 학습 중 배경 변화가 아닌 인간 운동 특징에 모델의 집중을 향상시키기 위해.
• 학습에 가장 정보가 풍부하고 독창적인 프레임을 선택하는 프레임 샘플링 전략을 개발하기 위해.
• 기존 영상 인식 백본(X3D 등)과 효과적으로 통합되도록 하되, 재학습이나 도메인 특화 적응이 필요 없도록 하기 위해.

제안 방법

• 연속 프레임 간의 공간-시간적 특징을 정렬하기 위해 상호정보량을 기준으로 사용하여 운동 관련 영역에서 유사도를 최대화한다.
• 픽셀 수준의 특징 정렬 기법을 적용하여 최적의 변환 매개변수(ω*)를 추정함으로써 프레임 간 인간 행동 영역을 정렬한다.
• 기준 프레임 기반 반복 정렬 과정을 도입하여, 각 후속 프레임을 이전에 정렬된 영역에 대응시킨다.
• 가장 정보가 풍부하고 다양한 프레임 시퀀스를 선택하기 위해 공동 상호정보량 기반의 새로운 프레임 샘플링 방법을 제안한다.
• 식 (11)에 따라 가중치 조합을 사용해 프레임 선택 기준을 수식화하며, 하이퍼파라미터 α와 β를 사용한다.
• 제안된 정렬 및 샘플링 모듈을 X3D 백본과 통합하여 엔드 투 엔드 영상 행동 인식을 수행한다.

Figure 1 : $F_{t}$ and $F_{t+1}$ are two frames at time $t$ and $t+1$ , respectively, from the same UAV video. The human actor in the two frames occupies less than 10% of the pixels due to the high camera altitude (top images). (a) MITFAS will focus on the regions corresponding to salient motions an

실험 결과

연구 질문

• RQ1 고고도 카메라 시야와 시점 변화가 있는 드론 영상에서 상호정보량을 어떻게 효과적으로 활용하여 운동 관련 특징을 프레임 간에 정렬할 수 있는가?
• RQ2 상호정보량 기반의 프레임 샘플링 전략 중에서 학습용 공중 행동 인식 모델에 가장 정보가 풍부하고 다양한 프레임 시퀀스를 제공하는 것은 무엇인가?
• RQ3 표준 영상 인식 백본(X3D 등)과 결합했을 때 시간적 특징 정렬이 정확도 향상에 얼마나 기여하는가?
• RQ4 균일, 무작위, 적응형 샘플링 기반 모델과 비교해 MITFAS는 드론 영상 벤치마크에서 Top-1 정확도 측면에서 어떤 성능을 보이는가?
• RQ5 L2 거리나 코사인 유사도와 같은 다른 측정 기준과 비교해 상호정보량이 드론 영상 행동 인식 맥락에서 더 뛰어난 유사도 측정 기준이 될 수 있는가?

주요 결과

• MITFAS는 UAV-Human 데이터셋에서 현재의 SOTA 방법 대비 18.9% 높은 Top-1 정확도를 달성하였으며, 기준 X3D 모델 대비 20.2% 향상되었다.
• Drone-Action 데이터셋에서 MITFAS는 SOTA 대비 7.3% 높은 Top-1 정확도를 기록하였고, 균일 샘플링 기반 기준 X3D 대비 16.6% 향상되었다.
• NEC Drones 데이터셋에서 MITFAS는 Top-1 정확도 78.62%를 달성하여 이전 SOTA 대비 7.18% 향상되었다.
• 제안된 시간적 특징 정렬(TFA)은 X3D와 다양한 샘플링 방법과 통합되었을 때 Top-1 정확도를 16–17.5% 향상시켰다.
• 상호정보량은 L2, 코사인 유사도 등 다른 유사도 측정 기준보다 우수한 성능을 보였으며, UAV-Human에서 최고의 정확도를 기록했다(Table 8).
• 샘플링 기준의 최적 하이퍼파라미터는 α = 1.0 및 β = 1.0로, 이는 상호정보량과 공동 상호정보량 성분이 모두 프레임 선택에 동일한 중요도를 가짐을 시사한다.

Figure 2 : Given a starting frame $F_{t}$ in a UAV video, we use a localization network to localize the human action and crop the region containing the human motion as the reference image $F_{r}$ . At time $t+1$ , we use our feature alignment algorithm to estimate the optimal operation parameter $\o