[논문 리뷰] Equivalent Classification Mapping for Weakly Supervised Temporal Action Localization

Tao Zhao, Junwei Han외 2명|arXiv (Cornell University)|2020. 08. 18.

Human Pose and Action Recognition인용 수 7

한 줄 요약

이 논문은 약한 감독 하에 시간적 행동 탐지에서 전기분류 및 후기분류 파이프라인을 통합하는 새로운 프레임워크인 등가 분류 매핑(Equivalent Classification Mapping, ECM)을 제안한다. 이는 단일 분류기를 공유하는 두 개의 병렬 스트림을 학습시켜 구현된다. 프레임 수준의 점수와 특징 집합 가중치 간의 일관성을 강제하고, 가중치 전이 모듈과 등가 학습 전략을 사용함으로써, THUMOS14에서 54.3%의 프레임 정확도를 달성하여 기존의 기준 모델들과 앙상블 모델들을 크게 앞서는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Weakly supervised temporal action localization is a newly emerging yet widely studied topic in recent years. The existing methods can be categorized into two localization-by-classification pipelines, i.e., the pre-classification pipeline and the post-classification pipeline. The pre-classification pipeline first performs classification on each video snippet and then aggregate the snippet-level classification scores to obtain the video-level classification score. In contrast, the post-classification pipeline aggregates the snippet-level features first and then predicts the video-level classification score based on the aggregated feature. Although the classifiers in these two pipelines are used in different ways, the role they play is exactly the same---to classify the given features to identify the corresponding action categories. To this end, an ideal classifier can make both pipelines work. This inspires us to simultaneously learn these two pipelines in a unified framework to obtain an effective classifier. Specifically, in the proposed learning framework, we implement two parallel network streams to model the two localization-by-classification pipelines simultaneously and make the two network streams share the same classifier. This achieves the novel Equivalent Classification Mapping (ECM) mechanism. Moreover, we discover that an ideal classifier may possess two characteristics: 1) The frame-level classification scores obtained from the pre-classification stream and the feature aggregation weights in the post-classification stream should be consistent; 2) The classification results of these two streams should be identical. Based on these two characteristics, we further introduce a weight-transition module and an equivalent training strategy into the proposed learning framework, which assists to thoroughly mine the equivalence mechanism.

연구 동기 및 목표

• 세그먼트 수준의 애너테이션 없이도 약한 감독 하에 시간적 행동 탐지 문제를 해결하고자 한다.
• 전기분류 및 후기분류라는 두 가지 주요 파이프라인을 하나의 일관된 학습 프레임워크로 통합하고자 한다.
• 프레임 수준의 예측과 집계된 비디오 수준의 특징 간의 등가성을 유지하는 공유 분류기를 학습하고자 한다.
• 파이프라인 간의 분류 점수와 어텐션 가중치 간의 일관성을 강제하여 정확도를 향상시키고자 한다.
• 다양한 벤치마크에 일반화되는 단순하면서도 효과적인 기준 모델을 설정하고자 한다.

제안 방법

• 동일한 분류기를 공유하는 병렬 전기분류 및 후기분류 파이프라인을 가진 이중 스트림 네트워크 아키텍처를 제안한다.
• 두 스트림 간의 기울기를 동기화하여 분류기 일관성을 강제하는 등가 학습 전략을 도입한다.
• 후기분류 스트림에서 프레임 수준의 분류 점수와 특징 집합 가중치 간의 정렬을 위해 가중치 전이 모듈을 설계한다.
• 비디오 수준의 분류 손실 $\mathcal{L}_{\text{cls}}$ 를 사용하여 두 스트림을 동시에 지도함으로써 엔드 투 엔드 학습을 보장한다.
• 포인트 수준의 특징과 집계된 비디오 수준의 특징에서 모두 동일한 분류기를 사용하여 행동 카테고리를 예측한다.
• t-SNE 시각화를 통해 집계된 특징이 행동 특징과 동일한 매니폴드에 위치함을 확인하여 등가성 가정의 타당성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 공유 분류기를 통해 전기분류 및 후기분류 파이프라인을 효과적으로 통합할 수 있는가?
• RQ2 프레임 수준의 점수와 집계 가중치 간의 일관성을 강제하면 정확도가 향상되는가?
• RQ3 제안된 등가 메커니즘이 앙상블 모델 및 개별 파이프라인 기준 모델을 능가하는가?
• RQ4 가중치 전이 모듈은 두 파이프라인 간의 정렬에 어떤 기여를 하는가?
• RQ5 제안된 프레임워크는 다양한 벤치마크에 대해 강건하고 일반화 가능한가?

주요 결과

• ECM는 THUMOS14 데이터셋에서 54.3%의 프레임 정확도를 달성하여 전기분류 파이프라인(42.7%)과 후기분류 파이프라인(39.0%)을 크게 앞서는 성능을 보였다.
• ECM(29.1 mAP)와 앙상블 모델(21.4 mAP) 간의 성능 격차는 단순 앙상블보다 등가 메커니즘이 우수함을 입증한다.
• 가중치 전이 모듈과 등가 학습 전략이 함께 작용하여 직접적인 등가 구현 대비 성능을 8.7 mAP 향상시켰다.
• 정성적 시각화 결과, ECM는 더 선명하고 구분력 있는 활성화 시퀀스를 생성하여 배경 반응을 억제하면서도 행동 인스턴스를 정확히 국소화함을 확인할 수 있었다.
• t-SNE 시각화 결과, 집계된 비디오 수준의 특징이 행동 특징과 동일한 특징 매니폴드에 위치함을 확인하여 ECM의 이론적 기반을 검증하였다.
• ECM는 아키텍처의 복잡성이나 추가 컴포onent 없이도 최신 기술 수준의 성능을 달성하였으며, 향후 연구를 위한 강력하고 단순한 기준 모델을 설정하였다.