[논문 리뷰] Generic Event Boundary Detection Challenge at CVPR 2021 Technical Report: Cascaded Temporal Attention Network (CASTANET)

Dexiang Hong, Congcong Li외 3명|arXiv (Cornell University)|2021. 07. 01.

Anomaly Detection Techniques and Applications참고 문헌 8인용 수 5

한 줄 요약

이 논문은 채널 분리 컨볼루션 네트워크(CSN) 기반, 다중 수신장 막대 시간 주의 메커니즘(확장된 1D 컨볼루션과 양방향 LSTM 사용), 그리고 자기 주의 메커니즘을 통한 계층적 분류 헤드를 결합한 계층적 시간 주의 네트워크인 CASTANET을 제안한다. 이 방법은 Kinetics-GEBD 테스트 세트에서 83.30%의 F1 스코어를 달성하여 기준 모델 대비 20.5% 향상된 성능을 보였다.

ABSTRACT

This report presents the approach used in the submission of Generic Event Boundary Detection (GEBD) Challenge at CVPR21. In this work, we design a Cascaded Temporal Attention Network (CASTANET) for GEBD, which is formed by three parts, the backbone network, the temporal attention module, and the classification module. Specifically, the Channel-Separated Convolutional Network (CSN) is used as the backbone network to extract features, and the temporal attention module is designed to enforce the network to focus on the discriminative features. After that, the cascaded architecture is used in the classification module to generate more accurate boundaries. In addition, the ensemble strategy is used to further improve the performance of the proposed method. The proposed method achieves 83.30% F1 score on Kinetics-GEBD test set, which improves 20.5% F1 score compared to the baseline method. Code is available at https://github.com/DexiangHong/Cascade-PC.

연구 동기 및 목표

• 사전 정의된 이벤트 카테고리에 종속되지 않는 분류 체계 없는 이벤트 경계 검출 문제에 대응한다.
• 주의 메커니즘을 통해 구분력 있는 시공간적 및 의미적 특징에 집중함으로써 검출 성능을 향상시킨다.
• GEBD에서 정밀도와 재현율 간의 상충 관계를 계층적 분류 모듈을 도입하고 다중 임계값 수준을 활용해 극복한다.
• 동적 프레임 샘플링과 음성-시각 특징 융합을 통해 모델의 일반화 능력과 강건성을 향상시킨다.
• 앙상블 학습과 아키텍처 혁신을 통해 Kinetics-GEBD 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 시공간적 특징을 효율적으로 추출하기 위해 채널과 공간-시간 컨볼루션을 분리한 채널 분리 컨볼루션 네트워크(CSN)를 백본으로 사용한다.
• 확장된 1D 컨볼루션 레이어 4개(dilation rates {1, 2, 4, 8})와 잔차 연결을 포함한 시간 주의 모듈을 활용해 다중 척도의 맥락 정보를 캡처한다.
• 장기적 시간적 의존성을 모델링하기 위해 양방향 LSTM을 적용하고, 경계 관련 활성화를 강조하기 위해 3D 최대 풀링 레이어를 사용한다.
• Transformer를 영감으로 삼은 4층 자기 주의 메커니즘을 적용해 프레임 수준의 주의를 학습하여 의미 이해를 향상시킨다.
• 시간적 특징과 주의 특징을 연결하여 다중 임계값 수준(u = [0.5, 0.4, 0.3])과 마스크 임계값(τ = [0.4, 0.3])을 갖춘 계층적 분류 헤드에 입력함으로써 예측을 정밀하게 조정한다.
• STFT와 1D 컨볼루션을 통해 음성 특징을 추출하고, 이를 시각적 특징과 연결하여 최종 분류 이전에 다중 모odal 이해를 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 정의된 이벤트 카테고리에 의존하지 않고, 일반적인 이벤트 경계를 효과적으로 국소화할 수 있는 딥 러닝 모델은 어떤가?
• RQ2 비정형 비디오 스트림에서 장기적 시간적 의존성과 구분력 있는 특징을 효과적으로 캡처하는 데 가장 유용한 아키텍처 구성 요소는 무엇인가?
• RQ3 다중 임계값 수준을 갖는 계층적 분류 전략은 GEBD에서 정밀도와 재현율의 균형을 어떻게 향상시킬 수 있는가?
• RQ4 비디오 프레임 레이트(FPS) 기반의 동적 프레임 샘플링은 고정 비율 샘플링 대비 모델의 일반화 능력을 어떻게 향상시키는가?
• RQ5 음성-시각 특징 융합은 분류 체계 없는 환경에서 경계 검출 성능에 얼마나 기여하는가?

주요 결과

• 제안된 CASTANET 모델은 Kinetics-GEBD 테스트 세트에서 83.30%의 F1 스코어를 달성하여 기준 모델 대비 20.5% 상대적 향상을 이룬다.
• 제거 실험 결과, CSN 백본을 추가하면 F1이 61.5%에서 71.9%로 향상되며, 동적 샘플링(75.0%), 시간 주의 모듈(77.8%), 계층적 분류(78.2%)를 추가로 적용하면 더욱 향상된다.
• 음성 특징을 통합하면 F1 스코어가 78.9%로 상승하여 다중 모달 학습이 경계 검출에 유리한 영향을 미친다.
• 다양한 하이퍼파rameter를 가진 9개 모델의 앙상블 학습을 통해 현지 검증 세트에서 F1 스코어가 81.4%로 더욱 향상된다.
• 다중 임계값 수준(u = [0.5, 0.4, 0.3])과 마스크 임계값(τ = [0.4, 0.3])을 갖춘 계층적 분류 모듈은 높은 정밀도를 유지하면서 재현율을 크게 향상시킨다.
• 비디오 프레임 레이트(FPS) 기반의 동적 샘플링(1 프레임당 ⌈f/8⌉ 프레임)은 다양한 프레임 레이트를 가진 비디오 간 일관된 입력 맥락을 확보함으로써 모델 수렴과 성능 향상에 기여한다.