[논문 리뷰] Augmented 2D-TAN: A Two-stage Approach for Human-centric Spatio-Temporal Video Grounding

Chaolei Tan, Zihang Lin외 3명|arXiv (Cornell University)|2021. 06. 20.

Multimodal Machine Learning Applications참고 문헌 6인용 수 4

한 줄 요약

이 논문은 인간 중심의 시공간 영상 기반 탐지( HC-STVG )를 위한 이중 단계 방법인 Augmented 2D-TAN을 제안하며, Bi-LSTM 집계 모듈과 무작위 연결 증강(RCA)을 통해 시간 기반 탐지 성능을 향상시켜 HC-STVG 테스트 세트에서 평균 viou 31.9%의 최신 기술 성능을 달성한다.

ABSTRACT

We propose an effective two-stage approach to tackle the problem of language-based Human-centric Spatio-Temporal Video Grounding (HC-STVG) task. In the first stage, we propose an Augmented 2D Temporal Adjacent Network (Augmented 2D-TAN) to temporally ground the target moment corresponding to the given description. Primarily, we improve the original 2D-TAN from two aspects: First, a temporal context-aware Bi-LSTM Aggregation Module is developed to aggregate clip-level representations, replacing the original max-pooling. Second, we propose to employ Random Concatenation Augmentation (RCA) mechanism during the training phase. In the second stage, we use pretrained MDETR model to generate per-frame bounding boxes via language query, and design a set of hand-crafted rules to select the best matching bounding box outputted by MDETR for each frame within the grounded moment.

연구 동기 및 목표

• 자연어를 사용하여 시간과 공간에서 사람을 국소화하는 것을 목표로 하는 인간 중심의 시공간 영상 기반 탐지(HC-STVG) 문제를 다루기.
• 2D-TAN 모델의 한계, 즉 최대 풀링으로 인한 과적합 및 비구별적인 순간 특징 표현 문제를 해결하기.
• 특징 집계 및 데이터 증강 전략을 향상시켜 시간 기반 탐지 정확도를 향상시키기.
• 시간 기반 탐지와 프레임별 언급을 조합한 이중 단계 파ipeline을 통해 HC-STVG 벤치마크에서 최신 기술 성능을 달성하기.

제안 방법

• 2D-TAN에서 최대 풀링을 대체하기 위해 장기적인 시간적 변동을 더 잘 모델링할 수 있는 Bi-LSTM 집계 모듈을 제안한다.
• 학습 중에 두 개의 영상과 그에 해당하는 질의를 무작위로 연결하는 Random Concatenation Augmentation(RCA) 전략을 설계하여 데이터 다양성을 증가시키고 과적합을 줄인다.
• 유효한 순간 제안( i ≤ j )에 대해 Bi-LSTM 집계 모듈을 통해 계산된 M_ij로 구성된 2D 특징 맵 M ∈ ℝ^{N×N×c}를 구축하며, 그 외의 경우 0으로 설정한다.
• 미리 훈련된 MDETR 모델을 사용해 각 프레임의 바운딩 박스 제안과 기반 텍스트를 생성한 후, 규칙 기반 필터링을 통해 가장 관련성이 높은 박스를 선택한다.
• 입력 문장에서 주어를 추출하기 위해 의존성 파서를 적용하고, 주어와 일치하지 않거나 다수의 사람을 포함하는 MDETR 출력을 필터링한다.
• 필터링된 집합에서 기반 텍스트가 가장 긴 바운딩 박스를 각 프레임의 최종 공간 예측으로 선정한다.

실험 결과

연구 질문

• RQ1 Bi-LSTM 기반 집계 모듈은 2D-TAN의 최대 풀링 대비 순간 특징의 구별성 향상에 기여하는가?
• RQ2 무작위 연결 증강(RCA)은 HC-STVG에서 과적합을 줄이고 일반화 성능을 향상시키는 데 효과적인가?
• RQ3 시간 기반 탐지와 프레임별 언급을 조합한 이중 단계 파이프라인은 공간 국소화 정확도 향상에 기여하는가?
• RQ4 Bi-LSTM 집계와 RCA를 결합했을 때 전체 HC-STVG 성능에 미치는 영향은 무엇인가?
• RQ5 제안된 방법은 HC-STVG 벤치마크에서 기존 최신 기술 방법들과 비교해 어떻게 성능을 냅니다?

주요 결과

• Bi-LSTM 집계 모듈은 검증 세트에서 viou@0.5 점수를 16.7%에서 18.8%로 향상시켜 더 나은 특징 표현을 입증하였다.
• 무작위 연결 증강(RCA)은 검증 세트에서 viou@0.5 점수를 16.7%에서 17.0%로 향상시켜 일반화 성능 향상을 시사하였다.
• 제거 분석 결과, Bi-LSTM와 RCA 모두 성능 향상에 일관되게 기여하며, 병합된 방법은 검증 세트에서 30.4%의 viou@0.5 점수를 기록하였다.
• 10개의 Augmented 2D-TAN 모델 앙상블은 HC-STVG 테스트 세트에서 31.9%의 평균 viou를 달성하여 랭킹에 등재된 모든 이전 방법을 능가하였다.
• 제안된 방법은 테스트 세트에서 viou@0.3 52.7%와 tiou 56.5%를 기록하여 HC-STVG 벤치마크에서 최신 기술 성능을 확인하였다.