[논문 리뷰] Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition

Yinghao Xu, Fangyun Wei외 6명|arXiv (Cornell University)|2021. 12. 17.

Human Pose and Action Recognition인용 수 6

한 줄 요약

이 논문은 주된 백본 네트워크를 위한 보완적인 허위 레이블을 생성하기 위해 서로 다른 아키텍처 편향을 가진 경량 보조 네트워크를 사용하는 준지도 학습 동작 인식 방법인 Cross-Model Pseudo-Labeling (CMPL)을 제안한다. 교차 모델 예측을 활용함으로써 CMPL은 허위 레이블 품질을 크게 향상시키고, 라벨이 1%인 경우에 Kinetics-400과 UCF-101에서 각각 17.6% 및 25.1%의 Top-1 정확도를 달성하며, FixMatch를 각각 9.0%와 10.3% 초월한다.

ABSTRACT

Semi-supervised action recognition is a challenging but important task due to the high cost of data annotation. A common approach to this problem is to assign unlabeled data with pseudo-labels, which are then used as additional supervision in training. Typically in recent work, the pseudo-labels are obtained by training a model on the labeled data, and then using confident predictions from the model to teach itself. In this work, we propose a more effective pseudo-labeling scheme, called Cross-Model Pseudo-Labeling (CMPL). Concretely, we introduce a lightweight auxiliary network in addition to the primary backbone, and ask them to predict pseudo-labels for each other. We observe that, due to their different structural biases, these two models tend to learn complementary representations from the same video clips. Each model can thus benefit from its counterpart by utilizing cross-model predictions as supervision. Experiments on different data partition protocols demonstrate the significant improvement of our framework over existing alternatives. For example, CMPL achieves $17.6\%$ and $25.1\%$ Top-1 accuracy on Kinetics-400 and UCF-101 using only the RGB modality and $1\%$ labeled data, outperforming our baseline model, FixMatch, by $9.0\%$ and $10.3\%$, respectively.

연구 동기 및 목표

• 대규모의 레이블이 없는 비디오 데이터를 활용하여 동작 인식의 높은 레이블링 비용 문제를 해결하고자 한다.
• 다른 구조적 편향을 가진 모델들로부터의 보완적 표현을 활용하여 준지도 학습에서 허위 레이블의 품질을 향상시키고자 한다.
• 주된 백본과 경량 보조 네트워크 간의 상호 감독을 교차 모델 허위 레이블링을 통해 가능하게 하는 프레임워크를 개발하고자 한다.
• 모델 수준의 보완성이 입력 수준의 데이터 증강 또는 자체 지도 학습을 초월하여 성능 향상에 기여할 수 있음을 입증하고자 한다.

제안 방법

• 주된 백본과 다른 아키텍처를 가진 경량 보조 네트워크를 도입하여 보완적 표현을 생성한다.
• 보조 네트워크의 신뢰도 높은 예측을 주 백본의 허위 레이블로 사용하고, 반대로 주 백본의 예측도 보조 네트워크의 허위 레이블로 사용하여 교차 모델 감독을 구현한다.
• 일致성 정규화와 허위 레이블링을 사용하여 두 네트워크를 함께 훈련하며, 각 모델이 상대방의 고신뢰도 예측에서 학습한다.
• 강건성과 일반화 능력을 향상시키기 위해 표준 시간적 데이터 증강(예: 프레임 속도 및 시간 이동)을 적용한다.
• 양방향 지식 정착을 장려하기 위해 대칭적인 훈련 목표를 사용하며, 두 모델이 서로의 허위 레이블을 사용하여 동시에 업데이트된다.
• 낮은 데이터 제약 조건(예: 1% 라벨 데이터)에서 Kinetics-400 및 UCF-101과 같은 표준 벤치마크를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다른 구조적 편향을 가진 모델들이 단일 모델보다 더 신뢰도 높고 보완적인 허위 레이블을 생성할 수 있는가?
• RQ2 자기 허위 레이블링 기반 모델 대비 교차 모델 허위 레이블링이 준지도 학습 동작 인식 성능을 향상시키는가?
• RQ3 보조 네트워크의 정확도가 개별 동작 클래스에서 주 백본의 성능과 어떻게 상관관계가 있는가?
• RQ4 보조 네트워크가 시간 동적 특성을 얼마나 잘 포착하여 주 네트워크의 공간적 이해를 보완하는가?

주요 결과

• CMPL은 RGB 모odal리티와 1% 라벨 데이터만을 사용하여 Kinetics-400에서 17.6%의 Top-1 정확도, UCF-101에서 25.1%의 Top-1 정확도를 달성하며, 각각 FixMatch를 9.0%와 10.3% 초월한다.
• 동일한 라벨이 없는 데이터 세트에서 보조 네트워크가 주 백본보다 더 높은 품질의 허위 레이블을 생성하는 것으로 나타났으며, 이는 훈련 곡선에서 일관된 정확도 향상을 보여준다.
• 보조 네트워크가 잘 수행하는 동작 클래스에서 주 백본이 뚜렷한 성능 향상을 보이며, 두 모델 간의 보완성 구조를 확인한다.
• CMPL에서 정확한 허위 레이블의 비율이 FixMatch보다 높아, 비라벨 데이터의 활용도가 더 높다는 것을 시사한다.
• 주 백본의 성능 향상은 보조 네트워크의 각 클래스 정확도와 정적 상관관계를 보이며, 보완적 학습 메커니즘의 타당성을 검증한다.
• 보조 네트워크의 용량이 낮더라도 프레임워크가 효과를 유지함으로써, 작은 전문화된 모델에서 더 큰 모델로의 지식 전달이 가능함을 보여준다.