[논문 리뷰] Winning the CVPR'2021 Kinetics-GEBD Challenge: Contrastive Learning Approach

Hyolim Kang, Jinwoo Kim외 3명|arXiv (Cornell University)|2021. 06. 22.

Human Pose and Action Recognition참고 문헌 22인용 수 5

한 줄 요약

이 논문은 장기간 영상에서 인간의 인지 기반으로 클래스에 관계없이 이벤트 경계를 탐지하는 데 초점을 맞추며, 이벤트 경계에서 시각적 콘텐츠 변화를 포착하기 위해 중간 표현으로 시간적 자기유사성 행렬(TSM)을 사용하는 대비 학습 기반 방법을 제안한다. TSM 통과와 대비 손실, 직접 예측 통과를 조합함으로써 모델은 SOTA 성능을 달성하였으며, CVPR'2021 Kinetics-GEBD 챌린지에서 F1 스코어 81.3으로 우승하였다.

ABSTRACT

Generic Event Boundary Detection (GEBD) is a newly introduced task that aims to detect "general" event boundaries that correspond to natural human perception. In this paper, we introduce a novel contrastive learning based approach to deal with the GEBD. Our intuition is that the feature similarity of the video snippet would significantly vary near the event boundaries, while remaining relatively the same in the remaining part of the video. In our model, Temporal Self-similarity Matrix (TSM) is utilized as an intermediate representation which takes on a role as an information bottleneck. With our model, we achieved significant performance boost compared to the given baselines. Our code is available at https://github.com/hello-jinwoo/LOVEU-CVPR2021.

연구 동기 및 목표

• 장기간 영상에서 인간의 인지 기반으로 주관적이고 카테고리에 특화된 애너테이션이 없는 클래스에 관계없이 이벤트 경계를 탐지하는 문제를 해결하기 위해.
• 기본 BCE 손실이 깊은 Transformer 기반 인코더에 대해 충분한 기울기를 제공하지 못하는 GEBD에서 훈련 신호의 품질을 향상시키기 위해.
• 정보 블로킹 역할을 하는 시간적 자기유사성 행렬(TSM)을 활용하여 이벤트 경계 탐지에 대한 특징 표현을 향상시키기 위해.
• TSM 기반 경로와 직접 예측 경로를 볼록 조합을 통해 결합하여 강건성과 성능을 향상시키기 위해.
• 외부 데이터나 애너테이션을 사용하지 않고 Kinetics-GEBD 벤치마크에서 SOTA 결과를 달성하기 위해.

제안 방법

• 모델은 이중 경로 아키텍처를 사용한다: 한 경로는 TSM 기반 디코더를 통해 특징을 처리하고, 다른 경로는 인코딩된 특징에서 직접 경계를 예측한다.
• TSM 표현에 대해 대비 학습 손실을 적용하며, 경계 근처의 국소적 유사성 패턴을 양성 쌍으로, 비경계 영역을 음성 쌍으로 사용한다.
• 대비 손실은 사이라미안 스타일의 투영 헤드(Simsiam)를 통해 특징 간 쌍별 유사도에 대해 계산되며, 경계 관련 영역을 고립시키기 위해 삼항 마스크를 사용한다.
• 인코더는 수신장이 다른 병렬 모듈을 활용하며, 1D 컨볼루션은 국소적 특징을, 트랜스포머는 장거리 의존성을 처리하며 각각 액션, 샷, 또는 병합된 경계에 특화된다.
• 최종 예측은 두 경로의 볼록 조합이며, 조합 가중치는 BCE 손실을 통해 엔드 투 엔드로 학습된다.
• 후처리로 K=1 또는 2로 피크 추정과 임계값 설정을 통해 저신뢰도 예측을 억제하며, 다섯 개의 데이터 분할에 걸쳐 모델 앙상블을 통해 일반화를 향상시킨다.

실험 결과

연구 질문

• RQ1 시간적 자기유사성 행렬(TSM)은 트림되지 않은 영상에서 일반적인 이벤트 경계를 탐지하기 위한 중간 표현으로 효과적으로 기능할 수 있는가?
• RQ2 기본 BCE 손실이 충분한 감독을 제공하지 못할 경우, 대비 학습은 GEBD에서 깊은 인코더 훈련을 위한 기울기 신호를 향상시키는가?
• RQ3 TSM 기반 경로와 직접 예측 경로를 조합하면 개별 경로보다 더 나은 성능을 낼 수 있는가?
• RQ4 데이터 증강, 모델 앙상블, 후처리는 Kinetics-GEBD 벤치마크에서 최종 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 다양한 영상 특징 추출기와 데이터셋 분할 간에 얼마나 잘 일반화되는가?

주요 결과

• 직접 예측과 TSM 통과를 모두 포함한 전체 모델은 Kinetics-GEBD 검증 세트에서 F1 스코어 81.3을 달성하여 기준 모델 PC(62.5 F1)보다 유의미하게 뛰어난 성능을 보였다.
• TSM 통과를 제거하면 F1 스코어가 3.3점 하락(81.3에서 78.0으로)하여 TSM이 경계 관련 패턴을 포착하는 데 핵심적인 역할을 함을 입증하였다.
• 대비 손실 없이 TSM 통과만 수행한 경우(74.3 F1) 전체 모델보다 성능이 열등하여, BCE 손실만으로는 효과적인 훈련을 위한 충분한 기울기를 제공하지 못함을 시사하였다.
• 직접 예측 통로만 사용한 경우 F1 스코어 78.0을 기록하여 직접 감독이 효과적임을 보였지만, 대비 학습이 통합된 TSM 기반 접근법보다는 성능이 열등하였다.
• 다섯 개의 교차 검증 분할에서의 예측 앙상블과 이중 브랜치 앙상블 헤드를 사용함으로써 강건성과 일반화 능력이 향상되었다.
• 피크 검출과 임계값 설정을 통한 후처리로 가짜 양성 예측이 감소하고 인접한 중복 예측이 제거되어 더 깔끔한 최종 출력이 도출되었다.