[논문 리뷰] PointTAD: Multi-Label Temporal Action Detection with Learnable Query Points

Jing Tan, Xiaotong Zhao외 3명|arXiv (Cornell University)|2022. 10. 20.

Human Pose and Action Recognition인용 수 11

한 줄 요약

PointTAD는 액션 경계와 액션 인스턴스 내부에서 분류 가능한 프레임을 국소화하기 위해 학습 가능한 쿼리 포인트를 사용하는 희소 쿼리 기반 프레임워크를 제안한다. 동적 커널을 갖춘 다중 수준 상호작용 모듈을 통합함으로써, 오직 RGB 입력만을 사용하여 두 개의 벤치마크에서 최신 기술 수준의 검출 mAP 성능을 달성하며, 이는 이전 방법들보다 뚜렷이 뛰어나다.

ABSTRACT

Traditional temporal action detection (TAD) usually handles untrimmed videos with small number of action instances from a single label (e.g., ActivityNet, THUMOS). However, this setting might be unrealistic as different classes of actions often co-occur in practice. In this paper, we focus on the task of multi-label temporal action detection that aims to localize all action instances from a multi-label untrimmed video. Multi-label TAD is more challenging as it requires for fine-grained class discrimination within a single video and precise localization of the co-occurring instances. To mitigate this issue, we extend the sparse query-based detection paradigm from the traditional TAD and propose the multi-label TAD framework of PointTAD. Specifically, our PointTAD introduces a small set of learnable query points to represent the important frames of each action instance. This point-based representation provides a flexible mechanism to localize the discriminative frames at boundaries and as well the important frames inside the action. Moreover, we perform the action decoding process with the Multi-level Interactive Module to capture both point-level and instance-level action semantics. Finally, our PointTAD employs an end-to-end trainable framework simply based on RGB input for easy deployment. We evaluate our proposed method on two popular benchmarks and introduce the new metric of detection-mAP for multi-label TAD. Our model outperforms all previous methods by a large margin under the detection-mAP metric, and also achieves promising results under the segmentation-mAP metric. Code is available at https://github.com/MCG-NJU/PointTAD.

연구 동기 및 목표

• 기존의 다중 레이블 TAD 방법들이 프레임 단위 분류로 간주하는 데서 비롯하는 한계를 해결하기 위해, 인스턴스 수준의 국소화 기능을 갖춘다.
• 잘린 영상에서 동시 발생하는 액션 인스턴스와 세밀한 클래스 식별 문제를 극복한다.
• 액션 경계와 의미적 关键 프레임을 유연하게 엔드 투 엔드 학습할 수 있는 희소 쿼리 기반 검출 프레임워크를 제안한다.
• 동적 커널을 사용하여 포인트 수준과 인스턴스 수준의 액션 의미를 모두 포착하는 다중 수준 상호작용 모듈을 설계한다.
• 후처리 없이도 효과적이고 배포에 유리한 액션 검출을 가능하게 하기 위해 오직 RGB 비디오 입력만을 사용한다.

제안 방법

• 회귀 손실을 통한 직접적 지도 하에, 분류 가능한 프레임—액션 경계와 액션 세그먼트 내부—에 주목하는 학습 가능한 쿼리 포인트 세트를 도입한다.
• 각 쿼리 포인트 주변의 국소적 시간적 특징을 추출하기 위해 동적 커널을 갖춘 변형 가능 컨볼루션을 사용하여, 액션 변화 탐지에 대한 시간적 추론을 향상시킨다.
• 프레임 단위 및 채널 단위의 동적 혼합을 통해 포인트 수준 특징과 인스턴스 수준 표현을 융합하는 다중 수준 상호작용 모듈을 설계한다.
• 백본과 디코더 간의 공동 최적화 전략을 활용하여, 후처리 없이 엔드 투 엔드 훈련을 가능하게 한다.
• 액션 지속 시간에 비례하여 회귀 오프셋을 스케일링하여, 포인트 기반 검출에서 국소화 정확도를 향상시킨다.
• 희소 검출 출력과 밀도 있는 세그먼테이션 점수를 융합하기 위해 학습 가능한 파라미터 β를 사용하는 결과 융합 전략을 적용한다.

실험 결과

연구 질문

• RQ1 희소 쿼리 기반 검출 프레임워크는 다중 레이블 비정형 영상에서 동시에 존재하는 여러 액션 인스턴스를 효과적으로 국소화할 수 있는가?
• RQ2 학습 가능한 쿼리 포인트는 어떻게 동시에 액션 경계 프레임과 의미적 관건 프레임을 포착하여 세밀한 식별을 가능하게 하는가?
• RQ3 포인트 수준과 인스턴스 수준 의미를 융합함으로써 다중 수준 상호작용 모듈이 액션 표현을 얼마나 향상시키는가?
• RQ4 오직 RGB 입력만을 사용한 엔드 투 엔드 훈련이, 보조 지도나 복잡한 아키텍처에 의존하는 기존의 다중 레이블 TAD 방법보다 우수한 성능을 내는가?
• RQ5 액션 지속 시간에 비례하여 회귀 오프셋을 스케일링하는 것이 포인트 기반 TAD에서 국소화 정확도에 어떤 영향을 미치는가?

주요 결과

• PointTAD는 MultiTHUMOS와 Charades 벤치마크에서 모두 최신 기술 수준의 검출 mAP 성능을 달성하였으며, 각각 36.4%와 21.0%의 mAP를 기록하여 이전 방법들보다 뚜렷이 뛰어나다.
• MultiTHUMOS에서 PointTAD는 36.4%의 검출 mAP를 기록하여 이전 최고 성능 방법보다 5个百分点 이상 뛰어나다.
• Charades에서 PointTAD는 21.0%의 검출 mAP를 기록하여 일상적인 실내 활동에 대한 강력한 일반화 능력을 보여준다.
• 제거 실험 결과, 액션 지속 시간에 따라 회귀 오프셋을 스케일링함으로써 국소화 성능 향상이 확인되어 설계 선택의 타당성을 입증한다.
• MultiTHUMOS에서는 β = 0.2, Charades에서는 β = 0.96를 사용하여 희소 검출 출력과 밀도 있는 점수를 융합함으로써 경쟁적인 세그먼테이션 mAP 성능을 달성한다.
• 시각화 결과, 디코더 레이어를 거치며 쿼리 포인트가 초기 중앙 위치에서 액션 경계와 의미적 관건 프레임으로 정확한 위치로 수렴하는 것을 확인할 수 있다.