[논문 리뷰] Decoupling Localization and Classification in Single Shot Temporal Action Detection

Yupan Huang, Qi Dai외 1명|arXiv (Cornell University)|2019. 04. 16.

Human Pose and Action Recognition참고 문헌 21인용 수 4

한 줄 요약

이 논문은 지역화와 분류를 별도의 브랜치로 분리하여 전문화된 특징을 학습함으로써 성능을 햖थ기기 위한 새로운 일단계 시간 행동 검출 프레임워크인 Decouple-SSAD을 제안한다. 더 깊은 층의 특징 맵을 복소화(deconvolution)를 사용해 정밀하게 다듬고, 종단 간(end-to-end) 학습을 통해 THUMOS14에서 SOTA mAP@0.5 35.8%를 달성하여 이전의 일단계 방법들을 능가하고 이중단계 SOTA에 가까이 다가섰다.

ABSTRACT

Video temporal action detection aims to temporally localize and recognize the action in untrimmed videos. Existing one-stage approaches mostly focus on unifying two subtasks, i.e., localization of action proposals and classification of each proposal through a fully shared backbone. However, such design of encapsulating all components of two subtasks in one single network might restrict the training by ignoring the specialized characteristic of each subtask. In this paper, we propose a novel Decoupled Single Shot temporal Action Detection (Decouple-SSAD) method to mitigate such problem by decoupling the localization and classification in a one-stage scheme. Particularly, two separate branches are designed in parallel to enable each component to own representations privately for accurate localization or classification. Each branch produces a set of action anchor layers by applying deconvolution to the feature maps of the main stream. Each branch produces a set of feature maps by applying deconvolution to the feature maps of the main stream. High-level semantic information from deeper layers is thus incorporated to enhance the feature representations. We conduct extensive experiments on THUMOS14 dataset and demonstrate superior performance over state-of-the-art methods. Our code is available online.

연구 동기 및 목표

• 공통 백본을 사용해 지역화와 분류를 동시에 최적화하는 일단계 시간 행동 검출 방법의 한계를 해결하기 위해, 전문화된 특징 학습을 방해할 수 있는 공통 특징 추출의 문제를 해결하고자 한다.
• 제안된 영역 생성과 행동 분류를 별도로 최적화할 수 있도록 전용 브랜치를 도입하여 정확도를 향상시키고자 한다.
• 복소화를 통해 깊은 층의 고수준 의미적 특징을 앵커 특징 맵에 통합하여 표현 품질을 향상시키고자 한다.
• 종단 간 일단계 학습 파라다임을 유지하면서도 표준 THUMOS14 벤치마크에서 최고 성능을 달성하고자 한다.

제안 방법

• 프레임워크는 공통 메인 스트림에서 파생된 두 개의 병렬 브랜치(분류 및 제안)를 도입하여 지역화와 분류의 최적화를 분리한다.
• 각 브랜치는 깊은 층의 특징 맵에 복소화를 적용하여 업샘플링하고 표현을 정밀화함으로써 고수준 의미적 맥락을 통합한다.
• 각 브랜치에서 메인 스트림의 특징 맵에 복소화를 적용하여 액션 앵커 레이어를 생성함으로써 각 작업에 특화된 특징 학습을 가능하게 한다.
• 전체 네트워크는 종단 간 학습이 가능하여 공동 최적화를 허용하면서도 작업별 특징 표현을 유지한다.
• 추론 분석(ablation)으로서 리파인먼트 브랜치를 평가하였으며, 이는 지역화와 분류를 하나의 브랜치에서 공동 최적화하는 방식이지만, 분리된 접근보다는 성능이 열 劣하다.
• 다중 브랜치 앵커 네트워크 아키텍처를 사용하여 일단계 추론 효율성을 유지하면서도 정확도를 향상시켰다.

실험 결과

연구 질문

• RQ1 일단계 프레임워크에서 지역화와 분류를 분리하면 전문화된 특징 학습을 통해 시간 행동 검출 성능을 향상시킬 수 있는가?
• RQ2 복소화를 통해 깊은 층의 고수준 의미적 특징을 통합하면 지역화 및 분류 정확도에 어떤 영향을 미치는가?
• RQ3 각 작업에 전용 브랜치를 두는 것이 양자 모두를 공동 최적화하는 공통 브랜치보다 성능이 뛰어나게 되는가?
• RQ4 별도의 브랜치와 통합된 리파인먼트 브랜치 중 어느 것이 THUMOS14의 mAP 향상에 더 기여하는가?
• RQ5 분리된 일단계 방법이 최고 수준의 이중단계 방법과 비교해 유사한 성능을 달성할 수 있는가?

주요 결과

• Decouple-SSAD는 THUMOS14 데이터셋에서 mAP@0.5 35.8%를 달성하여 가장 우수한 일단계 베이스라인(SSAD)보다 11.2%p 높였다.
• 추론 분석 결과, 분류 브랜치만으로도 mAP@0.5가 1.0%p 향상되었고, 제안 브랜치는 2.2%p 향상되었다.
• 두 브랜치를 결합하면 기준선 대비 4.6%p 향상되었으며, 이는 분리된 특징 학습의 효과를 입증한다.
• 양자 모두를 하나의 경로에서 최적화하는 리파인먼트 브랜치는 오직 2.8%p 향상에 그쳐, 분리된 접근이 공동 정밀화보다 더 효과적임을 확인한다.
• Kinetics에서 사전 학습을 수행하면 mAP@0.5가 44.2%로 향상되어 제안된 아키텍처의 강력한 일반화 능력과 확장성을 보여준다.
• 가장 우수한 일단계 경쟁자(SS-TAD)보다 mAP@0.5 6.6%p 높고, 최고의 이중단계 방법(BSN)과 1.1%p 이내로 근접하여 뛰어난 경쟁력을 입증했다.