[논문 리뷰] Structured Context Transformer for Generic Event Boundary Detection

Congcong Li, Xinyao Wang외 5명|arXiv (Cornell University)|2022. 06. 07.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 구조적 시퀀스 분할을 통해 트랜스포머를 통한 선형 복잡도의 시간 모델링을 가능하게 하는 엔드 투 엔드 방법인 구조적 컨텍스트 트랜스포머(SC-Transformer)를 제안한다. 이는 프레임 표현 간 그룹 유사도를 계산하고 경계 예측을 위해 경량의 FCN을 활용하여 Kinetics-GEBD 및 TAPOS에서 DDM-Net 대비 1.3%p의 절대 F1 향상으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Generic Event Boundary Detection (GEBD) aims to detect moments where humans naturally perceive as event boundaries. In this paper, we present Structured Context Transformer (or SC-Transformer) to solve the GEBD task, which can be trained in an end-to-end fashion. Specifically, we use the backbone convolutional neural network (CNN) to extract the features of each video frame. To capture temporal context information of each frame, we design the structure context transformer (SC-Transformer) by re-partitioning input frame sequence. Note that, the overall computation complexity of SC-Transformer is linear to the video length. After that, the group similarities are computed to capture the differences between frames. Then, a lightweight fully convolutional network is used to determine the event boundaries based on the grouped similarity maps. To remedy the ambiguities of boundary annotations, the Gaussian kernel is adopted to preprocess the ground-truth event boundaries to further boost the accuracy. Extensive experiments conducted on the challenging Kinetics-GEBD and TAPOS datasets demonstrate the effectiveness of the proposed method compared to the state-of-the-art methods.

연구 동기 및 목표

• 인간 수준의 미세한 분류 없이, 분류 체계 없고 인지 기반의 이벤트 경계를 탐지하는 데 도전한다.
• 기존 방법이 구조적 컨텍스트 모델링의 부족으로 인해 정사각형 복잡도 계산 또는 불필요한 프레임 처리로 인한 한계를 극복한다.
• 인간 레이블링된 이벤트 경계의 본질적 모호성에 대응하면서도 효율적인 시간적 컨텍스트 모델링을 통해 경계 탐지 정확도를 향상시킨다.
• 긴 비디오 시퀀스에 적합한 선형 복잡도 아키텍처를 설계하여 고성능 추론을 가능하게 하며 엔드 투 엔드 학습을 지원한다.
• 기존의 전역 유사도 또는 단일 그룹 접근 방식과는 다름 없이, 새로운 그룹 유사도 메커니즘을 도입하여 경계 탐지에 유의미한 특징 학습을 향상시킨다.

제안 방법

• 각 비디오 프레임에서 2D 특징을 추출하기 위해 CNN 백본을 사용한 후, 프레임 임베딩의 시퀀스를 형성하기 위해 전역 평균 풀링을 적용한다.
• 시퀀스의 구조적 분할(SPoS) 메커니즘을 적용하여 각 프레임에 대해 국소적이고 구조적인 컨텍스트로 프레임 시퀀스를 재분할함으로써 선형 복잡도의 국소적 어텐션을 가능하게 한다.
• 각 구조적 컨텍스트에 트랜스포머 인코더 블록을 적용하여 국소 시퀀스에 대해 효율적이고 확장 가능한 자기 어텐션을 통해 고수준 표현을 학습한다.
• 다양한 채널을 통해 프레임 표현 간 그룹 유사도를 계산하여 특징의 분류 능력을 향상시키며, 특징의 분류 능력을 향상시키는 학습 가능한 그룹화 메커니즘을 사용한다.
• 그룹화된 유사도 맵에서 이벤트 경계를 예측하기 위해 경량의 완전 컨volution 네트워크(FCN)를 사용하여 고밀도의 프레임 단위 경계 분류를 가능하게 한다.
• 학습 중에 지표 레이블에 가우시안 커널 스무딩을 적용하여 레이블의 모호성을 줄이고 모델 수렴성 및 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 선형 복잡도를 가진 구조적 컨텍스트 모델링 접근 방식이 기존의 전역 또는 국소 자기 어텐션 메커니즘보다 GEBD에서 우월한 성능을 내는가?
• RQ2 단일 그룹 또는 전역 유사도 계산에 비해 그룹 유사도 학습은 경계 탐지에 있어 프레임 간 분류 가능한 차이를 얼마나 잘 포착하는가?
• RQ3 레이블의 모호성을 줄이고 모델 일반화 능력을 향상시키기 위해 지표 경계에 대해 가우시안 스무딩을 적용할 경우, 학습 안정성과 성능 향상에 어느 정도 기여하는가?
• RQ4 소음을 최소화하면서 충분한 시간적 컨텍스트를 포착하기 위해 구조적 컨텍스트 분할의 최적 창 크기는 무엇인가?
• RQ5 제안된 SC-Transformer 아키텍처에서 모델의 너비와 유사도 그룹 수는 성능과 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 SC-Transformer는 Kinetics-GEBD 데이터셋에서 DDM-Net 대비 1.3%p 절대 F1 향상을 달성하여 최신 기술 수준의 성능을 입증하였다.
• SC-Transformer는 Kinetics-GEBD에서 평균 F1 점수 0.881, TAPOS에서 0.882를 기록하였으며, 모든 평가 임계치(0.05, 0.25, 0.5)에서 일관된 성능 향상을 보였다.
• BCE 손실과 함께 가우시안 스무딩을 적용하면 평균 F1 점수가 0.016 향상되어, 레이블의 모호성과 과신을 완화하는 데 효과적임을 확인하였다.
• 컨텍스트 모델링에 가장 적합한 인접 창 크기는 K=8이며, 더 큰 값은 여러 경계로 인한 노이즈로 인해 성능 포화 또는 약간의 저하를 초래한다.
• G=8의 그룹 유사도가 가장 높은 성능(평균 F1 0.882)을 기록하여, 다중 그룹 유사도 학습이 분류 능력을 향상시키는 데 기여함을 보여주었다.
• 영상 길이에 대해 선형 복잡도를 유지하여 장시간 비디오에 대해서도 효율적인 추론과 학습이 가능함을 입증하였다.