[논문 리뷰] Benchmarking the Robustness of Spatial-Temporal Models Against Corruptions

Chenyu Yi, Siyuan Yang외 3명|arXiv (Cornell University)|2021. 10. 13.

Human Pose and Action Recognition참고 문헌 50인용 수 15

한 줄 요약

이 논문은 공간적 및 시간적 오염에 대한 비디오 분류 모델의 강건성 평가를 위한 벤치마크인 Mini Kinetics-C와 Mini SSV2-C를 소개한다. 연구 결과, 트랜스포머 기반 모델이 컨volutional 네트워크(CNN)보다 강건성을 뛰어나며, 시간적 강건성은 모델 용량과 계산 비용 증가와 함께 향상되며, 오염 데이터로 훈련하면 성능이 떨어지는 것으로 나타났다. 이는 영상 기반 강건성 전략이 비디오 작업에선 일반적으로 적용되지 않는다는 점을 도전한다.

ABSTRACT

The state-of-the-art deep neural networks are vulnerable to common corruptions (e.g., input data degradations, distortions, and disturbances caused by weather changes, system error, and processing). While much progress has been made in analyzing and improving the robustness of models in image understanding, the robustness in video understanding is largely unexplored. In this paper, we establish a corruption robustness benchmark, Mini Kinetics-C and Mini SSV2-C, which considers temporal corruptions beyond spatial corruptions in images. We make the first attempt to conduct an exhaustive study on the corruption robustness of established CNN-based and Transformer-based spatial-temporal models. The study provides some guidance on robust model design and training: Transformer-based model performs better than CNN-based models on corruption robustness; the generalization ability of spatial-temporal models implies robustness against temporal corruptions; model corruption robustness (especially robustness in the temporal domain) enhances with computational cost and model capacity, which may contradict the current trend of improving the computational efficiency of models. Moreover, we find the robustness intervention for image-related tasks (e.g., training models with noise) may not work for spatial-temporal models.

연구 동기 및 목표

• 실제 비디오 데이터에서 흔한 시간적 오염에 대한 비디오 모델 강건성의 체계적 평가 부족 문제를 해결하기 위해.
• 실제 비디오 손상 패턴(예: 운동 흐림, 패킷 손실, 기상 영향 등)을 반영하기 위해 공간적 및 시간적 오염을 모두 포함한 벤치마크를 구축하기 위해.
• 최신 3D CNN 및 비전 트랜스포머 기반 비디오 모델의 이러한 오염 조건 하에서의 강건성 평가를 통해 일반화 및 효율성 간의 트레이드오프를 분석하기 위해.
• 이미지 분류에서 효과적인 데이터 증강 전략(예: 노이즈로 훈련)이 비디오 이해 작업으로도 이행 가능한지 조사하기 위해.
• 아키텍처, 훈련 데이터, 모델 용량의 영향을 분석함으로써 더 강건한 비디오 모델 설계를 위한 실질적인 통찰을 제공하기 위해.

제안 방법

• Clean한 검증 세트를 사용하여 Kinetics 및 SSV2 데이터셋의 검증 세트에 12종류의 오염(각각 5단계의 심각도)를 적용함으로써 두 개의 비디오 벤치마크인 Mini Kinetics-C와 Mini SSV2-C를 구축하였다.
• 실제 비디오 손상 패턴을 반영하기 위해 오염을 프레임 수준의 공간적 오염과 다중 프레임 기반의 시간적 오염(예: 운동 흐림, 패킷 손실)으로 분류하였다.
• 촬영 노이즈, 비, dense 안개, 운동 흐림, 프레임 레이트 감소, ABR/CRF, 비트 오류, 패킷 손실 등을 적용하여 시스템 및 환경적 왜곡을 시뮬레이션하였다.
• mPC(평균 클래스별 정확도)와 rPC(강건성 클래스별 정확도)를 지표로 하여, 최신 3D CNN 및 비전 트랜스포머 모델을 정상 데이터 및 오염된 데이터에서 평가하였다.
• 단일 오염 유형(심도 3)으로 데이터를 훈련하여 일반화 및 강건성 간의 트레이드오프를 평가하였다.
• 재현성과 다양한 모델 간의 공정한 비교를 확보하기 위해 3D ResNet-18을 백본으로 사용하고, Kinetics의 40개 클래스 서브셋에서 훈련하였다.

실험 결과

연구 질문

• RQ1 특히 시간적 오염 상황에서 시간 정보에 의존하는 비디오 분류 모델의 강건성은 어떠한가?
• RQ2 비디오 모델에서 공간적 오염과 시간적 오염 간의 강건성 차이는 무엇인가?
• RQ3 비디오 분류에서 일반화, 계산 효율성, 강건성 간의 트레이드오프는 어떻게 나타나는가?
• RQ4 이미지 분류에서 효과적인 노이즈 또는 오염 증강 전략이 비디오 이해 작업에서도 강건성을 향상시키는가?
• RQ5 아키텍처 선택(3D CNN 대 비전 트랜스포머)이 다양한 오염 유형 하에서 강건성에 어떻게 영향을 미치는가?

주요 결과

• 트랜스포머 기반 모델이 공간적 오염 외에도 패킷 손실 및 프레임 레이트 감소와 같은 시간적 오염에서 CNN 기반 모델보다 강건성을 뛰어나게 성능을 발휘한다.
• 시간적 오염에 대한 강건성은 모델의 일반화 능력과 관련이 있으며, 장거리 시간적 의존성을 포착하는 모델일수록 더 견고한 것으로 나타났다.
• 모델의 강건성은 계산 비용과 모델 용량 증가와 정비례한다—용량이 큰 모델일수록 더 높은 mPC 점수를 기록하며, 이는 모델 효율성 추세와는 정반대되는 결과이다.
• 오염된 데이터로 훈련하면 정상 데이터에서의 성능이 떨어진다—12개 모델 중 10개가 단일 오염 유형으로 훈련한 결과, 정상 데이터에서의 정확도가 정상 데이터로 훈련한 기준선보다 낮았다.
• 단일 오염 유형으로 훈련한 모델는 다른 오염 유형으로의 일반화 능력이 떨어졌다—12개 모델 중 9개가 미사용 오염에 대해 정상 데이터로 훈련한 모델보다 낮은 mPC 점수를 기록하였다.
• 이미지 분류에서 효과적인 강건성 개선 전략(예: 노이즈 증강)은 비디오 작업으로 이행되지 않으며, 오히려 비디오 분류의 일반화 및 강건성에 악영향을 미친다.