[논문 리뷰] Video Self-Stitching Graph Network for Temporal Action Localization

Chen Zhao, Ali Thabet외 1명|arXiv (Cornell University)|2020. 11. 30.

Human Pose and Action Recognition참고 문헌 45인용 수 8

한 줄 요약

이 논문은 시간 행동 탐지에서 짧은 행동 검출 성능을 향상시키기 위해 원본 및 시간적으로 확대된 영상 클립을 영상 자기 결합(Video Self-Stitching, VSS)과 교차 스케일 그래프 피라미드 네트워크(xGPN)를 통해 융합하는 새로운 프레임워크인 비디오 자기결합 그래프 네트워크(VSGN)를 제안한다. VSGN은 THUMOS-14 및 ActivityNet-v1.3에서 최고 성능을 기록하며, 다양한 스케일 간 보완적인 특징을 활용하고 짧은 행동에 대해 더 많은 양의 양성 앵커를 생성함으로써 짧은 행동의 mAP를 크게 향상시킨다.

ABSTRACT

Temporal action localization (TAL) in videos is a challenging task, especially due to the large variation in action temporal scales. Short actions usually occupy a major proportion in the datasets, but tend to have the lowest performance. In this paper, we confront the challenge of short actions and propose a multi-level cross-scale solution dubbed as video self-stitching graph network (VSGN). We have two key components in VSGN: video self-stitching (VSS) and cross-scale graph pyramid network (xGPN). In VSS, we focus on a short period of a video and magnify it along the temporal dimension to obtain a larger scale. We stitch the original clip and its magnified counterpart in one input sequence to take advantage of the complementary properties of both scales. The xGPN component further exploits the cross-scale correlations by a pyramid of cross-scale graph networks, each containing a hybrid module to aggregate features from across scales as well as within the same scale. Our VSGN not only enhances the feature representations, but also generates more positive anchors for short actions and more short training samples. Experiments demonstrate that VSGN obviously improves the localization performance of short actions as well as achieving the state-of-the-art overall performance on THUMOS-14 and ActivityNet-v1.3.

연구 동기 및 목표

• 자신의 방법에서 성능이 열등한 짧은 지속 시간 행동(수량은 많지만 기존 방법에서 성능이 열등함)의 시간적 국소화 성능 향상을 해결하기 위해.
• 단일 스케일 특징 표현의 한계를 극복하기 위해 다중 시간 스케일 간 보완적인 정보를 활용하기 위해.
• 다중 수준의 교차 스케일 프레임워크를 개발하여 특징 표현을 향상시키고 짧은 행동의 양성 학습 샘플 수를 늘리기 위해.
• 학습 중 장기간 행동에 대한 편향을 줄이기 위해 시간 확대를 통해 합성된 짧은 행동 인스턴스로 데이터셋을 증강하기 위해.
• 장기적인 의존성을 스케일 간에 캡처하는 그래프 기반 피라미드 네트워크를 사용하여 효과적인 교차 스케일 특징 집약을 가능하게 하기 위해.

제안 방법

• 영상 자기결합(VSS)은 짧은 영상 클립을 시간적으로 확대하여 더 큰 스케일의 버전을 생성한 후, 원본 클립과 확대된 클립을 하나의 입력 시퀀스로 결합하여 보완적인 정보를 유지한다.
• 교차 스케일 그래프 피라미드 네트워크(xGPN)는 학습된 그래프 연결을 통해 스케일 내 및 스케일 간 특징을 융합하는 하이브리드 모듈을 사용해 다중 인코더 레벨에서 특징을 처리한다.
• 각 xGPN 노드는 서로 다른 시간 스케일의 특징 간 관계를 모델링하기 위해 K/2의 스케일 내 엣지와 K/2의 스케일 간 엣지를 조합하여 사용한다.
• xGPN이 모든 인코더 레벨에 적용되는 다수 수준의 아키텍처를 채택하여 점진적인 특징 정제와 교차 스케일 정보 흐름을 가능하게 한다.
• 표준 TAL 손실을 사용해 엔드 투 엔드로 학습되며, 추론 시 원본 클립과 확대 클립의 예측을 모두 활용하여 정확도를 향상시킨다.
• 비용이 많이 드는 3D 컨볼루션과 ROI 정렬을 피함으로써 높은 성능을 유지하면서도 낮은 추론 비용을 달성한다.

실험 결과

연구 질문

• RQ1 짧은 영상 클립의 시간 확대가 시간 행동 탐지에서 짧은 행동의 특징 표현과 검출 성능 향상에 기여하는가?
• RQ2 다양한 시간 지속 시간을 가진 행동의 국소화 성능 향상을 위해 교차 스케일 특징 상관관계를 효과적으로 모델링할 수 있는가?
• RQ3 원본 클립과 확대 클립의 예측을 융합하면 각각을 별도로 사용할 때보다 더 높은 성능을 내는가? 보완적인 강점 덕분인가?
• RQ4 성능을 최대화하기 위해 그래프 네트워크에서 스케일 내 엣지와 스케일 간 엣지의 최적 조합은 무엇인가?
• RQ5 제안된 프레임워크는 모델 복잡도나 추론 비용을 증가시키지 않으면서도 짧은 행동과 긴 행동 간 성능 격차를 줄일 수 있는가?

주요 결과

• VSGN은 0.5 IoU 임계값에서 ActivityNet-v1.3에서 최고 성능을 기록하며, mAP가 35.07%에 달하며, 짧은 행동(지속 시간 < 30초)의 mAP가 19.9%로 기존 모든 방법을 능가한다.
• 원본 클립과 확대 클립의 예측을 융합한 결과(Clip O + Clip U)는 평균 mAP 35.07%를 기록하며, 각각의 클립만 사용했을 때(0.5 IoU 기준 52.38% 및 51.80%)보다 높은 성능을 보이며 보완적인 강점을 입증한다.
• xGPN에서 K/2의 자유 엣지와 K/2의 교차 스케일 엣지를 사용할 경우 최고의 성능(평균 mAP 35.07%)을 기록하며, 단지 K개의 자유 엣지나 K개의 교차 스케일 엣지만 사용할 경우 성능이 떨어진다.
• 모든 인코더 레벨에 xGPN을 적용한 경우 최고의 mAP(35.07%)를 기록하며, 단일 레벨에서만 xGN을 적용한 모델보다 뛰어나다. 단일 레벨 사용 시 중간 레벨(레벨 3)이 가장 효과적이다.
• VSGN은 ActivityNet 검증 세트에서 158초의 빠른 추론 시간을 기록하며, BMN과 유사하고 G-TAD보다 빠르며, 앵커 수가 적고(1240 vs. 4950), ROI 정렬도 사용하지 않음에도 불구하고 높은 성능을 유지한다.
• 다음으로 좋은 방법보다 짧은 행동의 mAP를 0.6%포인트 향상시켜 가장 도전적인 행동 유형에서 뚜렷한 성능 향상을 보였다.