[논문 리뷰] Evolving Losses for Unlabeled Video Representation Learning

AJ Piergiovanni, Anelia Angelova외 1명|arXiv (Cornell University)|2019. 06. 07.

Human Pose and Action Recognition참고 문헌 9인용 수 4

한 줄 요약

이 논문은 다중 모odal, 다중 작업 비지도 비디오 표현 학습을 위한 최적의 손실 가중치를 자동으로 탐색하기 위해 진화 알고리즘을 제안한다. 음성, 광학 흐름, 시간적 특징을 단일 RGB 기반 네트워크로 흡수한다. 이 방법은 ImageNet 미학습 및 감독형 Kinetics 미세조정을 초월하여, 레이블이 없는 비디오 데이터만을 사용해 HMDB51에서 66.2%의 정확도와 UCF101에서 92.4%의 정확도를 달성한다.

ABSTRACT

We present a new method to learn video representations from unlabeled data. Given large-scale unlabeled video data, the objective is to benefit from such data by learning a generic and transferable representation space that can be directly used for a new task such as zero/few-shot learning. We formulate our unsupervised representation learning as a multi-modal, multi-task learning problem, where the representations are also shared across different modalities via distillation. Further, we also introduce the concept of finding a better loss function to train such multi-task multi-modal representation space using an evolutionary algorithm; our method automatically searches over different combinations of loss functions capturing multiple (self-supervised) tasks and modalities. Our formulation allows for the distillation of audio, optical flow and temporal information into a single, RGB-based convolutional neural network. We also compare the effects of using additional unlabeled video data and evaluate our representation learning on standard public video datasets.

연구 동기 및 목표

• 수동 조정 대신 자동으로 최적의 손실 함수 가중치를 탐색함으로써 비지도 비디오 표현 학습을 향상시키기 위해.
• 다양한 모odal(예: RGB, 음성, 광학 흐름, 회색조) 간의 다중 모달, 다중 작업 학습을 가능하게 하여 지식을 단일 RGB 네트워크로 이전하는 흡수 기반의 접근을 제공하기 위해.
• 어느 정도의 감독형 미학습 없이도 대규모 레이블이 없는 비디오 데이터가 최종 인식 성능에 미치는 영향을 평가하기 위해.
• 손실 함수를 진화시키는 것이 무작위 또는 수작업으로 구성한 손실 조합보다 더 우수한 일반화 성능을 보이는지 입증하기 위해.
• 진화된 손실 가중치를 통해 행동 인식에 가장 기여하는 작업과 모달을 분석하기 위해.

제안 방법

• 다양한 모달 간 공유 표현을 통해 흡수를 통한 다중 모달, 다중 작업 학습 문제로 비지도 비디오 표현 학습을 공식화한다.
• 과제별 손실 $\mathcal{L}_{m,t}$ 와 흡수 손실 $\mathcal{L}_d$ 의 가중 합으로 총 손실를 정의한다: $\mathcal{L} = \sum_{m}\sum_{t}\lambda_{m,t}\mathcal{L}_{m,t} + \sum_{d}\lambda_d\mathcal{L}_d$, 여기서 $\lambda_{m,t}, \lambda_d \in [0,1]$.
• 손실 가중치 공간을 탐색하기 위해 진화 알고리즘을 사용하며, 가중치 구성의 집단을 유지하고 HMDB의 일부에서 클러스터링 성능에 기반해 가장 적합한 개체를 선택한다.
• 흡수 손실는 해당 레이어에서 메인 RGB 네트워크의 활성화와 다른 모달(예: 음성, 흐름)의 활성화 간의 $L_2$ 차이로 정의된다.
• 진화 집단을 $[0,1]$ 범위 내에서 무작위로 초기화하고, 각 개체당 하나의 가중치만을 변형시키며 반복적으로 개선하고 최고 성능을 보인 구성으로 선택한다.
• 제한된 레이블 데이터로 미세조정한 후 표준 비디오 벤치마크(HMDB51, UCF101)에서 최종 모델을 평가한다.

실험 결과

연구 질문

• RQ1 진화 알고리즘이 다중 작업, 다중 모달 비지도 비디오 표현 학습을 위한 최적의 손실 가중치를 효과적으로 탐색할 수 있는가?
• RQ2 진화된 손실의 성능는 다운스트림 행동 인식 정확도 측면에서 수작업 또는 무작위 손실 함수와 비교해 어떻게 되는가?
• RQ3 비지도 학습 과제와 모달(예: 음성, 흐름, RGB) 중 어떤 것이 효과적인 비디오 표현 학습에 가장 기여하는가?
• RQ4 감독형 미학습 없이도 레이블이 없는 비디오 데이터만으로 ImageNet 또는 Kinetics 미학습 성능에 도달할 수 있는가?
• RQ5 흡수 손실의 타이밍과 레이어 위치는 표현 품질에 어떤 영향을 미치며, 진화된 손실 구조에서 어떤 패턴이 나타나는가?

주요 결과

• 진화된 손실 함수는 레이블이 없는 비디오 데이터만을 사용해, Kinetics 레이블 데이터의 10%만을 사용해 미세조정한 후 HMDB51에서 66.2%의 정확도, UCF101에서 92.4%의 정확도를 달성하며, ImageNet 미학습 및 감독형 Kinetics 기준선을 모두 초월한다.
• 레이블이 있는 샘플 25,000개(=Kinetics의 10%)만을 사용해도 58.1%의 정확도를 기록하며, 전체 감독형 기준선 대비 약 11% 떨어지지만, 높은 데이터 효율성을 보여준다.
• 진화된 손실은 음성-비디오 정렬, 미래 프레임 예측, RGB-흐름 복원과 같은 과제에 높은 가중치를 할당하는 반면, 프레임 순서 뒤집기 및 색조 조정 과제에는 낮은 가중치를 할당한다.
• 그레이스케일 특징은 RGB와 유사하므로 더 이른 시점에 흡수를 적용하고, 음성 및 흐름 특징은 더 늦은 시점에 적용함으로써 모달에 따라 최적의 융합 타이밍이 다름을 시사한다.
• 진화 과정는 교차 모달 복원 및 정렬 과제가 행동 인식에 더 유익하다는 것을 밝혀내며, 프레임 순서 예측이나 색조 조정보다 더 효과적임을 확인한다.
• 레이블이 없는 데이터의 양을 늘릴수록 성능이 일관되게 향상되며, 고정된 학습 시간 내에서 더 많은 데이터를 사용할수록 더 큰 성능 향상이 나타나, 확장성 있음을 보여준다.