[논문 리뷰] Leveraging Random Label Memorization for Unsupervised Pre-Training

Vinaychandran Pondenkandath, Michele Alberti외 3명|arXiv (Cornell University)|2018. 11. 05.

Human Pose and Action Recognition참고 문헌 18인용 수 5

한 줄 요약

이 논문은 대규모 레이블이 없는 데이터셋에서 유용한 표현을 학습하기 위해 깊이 있는 신경망에서 무작위 레이블 기억화를 활용하는 새로운 비지도 사전 훈련 방법을 제안한다. UCF101, Kinetics 등의 랜덤 레이블이 부여된 비디오 데이터에서 3D-CNN을 사전 훈련함으로써, 일반화된 기억화 인프라스트럭처를 구축하여 다양한 벤치마크에서 다운스트림 행동 인식 정확도를 1.5%에서 5% 향상시킨다.

ABSTRACT

We present a novel approach to leverage large unlabeled datasets by pre-training state-of-the-art deep neural networks on randomly-labeled datasets. Specifically, we train the neural networks to memorize arbitrary labels for all the samples in a dataset and use these pre-trained networks as a starting point for regular supervised learning. Our assumption is that the "memorization infrastructure" learned by the network during the random-label training proves to be beneficial for the conventional supervised learning as well. We test the effectiveness of our pre-training on several video action recognition datasets (HMDB51, UCF101, Kinetics) by comparing the results of the same network with and without the random label pre-training. Our approach yields an improvement - ranging from 1.5% on UCF-101 to 5% on Kinetics - in classification accuracy, which calls for further research in this direction.

연구 동기 및 목표

• 큰 규모의 레이블이 없는 데이터셋을 활용하여 영상 행동 인식에서 레이블 데이터의 높은 비용과 부족함을 해결한다.
• 무작위 레이블을 기억하는 것이 이후의 지도 학습에 유용한 표현을 유도할 수 있는지 조사한다.
• 사전 훈련과 미세조정 간의 특징 분포 불일치 문제를 피하는 복원 기반 비지도 사전 훈련의 대안을 탐색한다.
• 무작위 레이블 사전 훈련이 지도 미세조정에서 일반화 능력 향상과 수렴 가속화에 기여할 수 있음을 입증한다.
• 기억화 능력이 이후 학습 작업에 유용한 재사용 가능한 인프라스트럭처를 형성한다는 경험적 증거를 제공한다.

제안 방법

• 무작위로 할당된 레이블을 가진 대규모 비디오 데이터셋(예: UCF101, Sports-1M)에서 3D-CNN(C3D)을 사전 훈련하여 임의의 레이블 할당을 강제로 기억하도록 한다.
• 결과로 생성된 사전 훈련 모델을 정확한 레이블이 부여된 동일한 데이터셋에서의 미세조정을 위한 기초로 사용하여, 사전 훈련 단계에서는 지도 학습 없이 전이 학습을 가능하게 한다.
• 상호 보완적인 데이터셋에서 모델을 사전 훈련함(예: UCF101의 랜덤 레이블로 사전 훈련하여 HMDB51 성능 향상)으로써 이식 가능성 검증.
• 사전 훈련 크기의 영향을 평가하기 위해 Sports-1M 데이터셋의 40%만 사용하여 랜덤 레이블로 사전 훈련을 수행함.
• 초기 사전 훈련 이후의 후속 기억화 과정 속도를 측정하여 재사용 가능한 기억화 인프라스트럭처 존재 여부를 검증한다.
• 동일한 데이터에서 무작위 초기화 및 지도 사전 훈련과의 성능 비교를 통해 무작위 레이블 사전 훈련의 기여도를 고립한다.

실험 결과

연구 질문

• RQ1 무작위로 레이블이 부여된 데이터에서 딥 네ural 웹을 사전 훈련하면 다운스트림 비디오 행동 인식 작업의 성능 향상이 이루어지는가?
• RQ2 무작위 레이블 훈련 중에 네트워크가 이후 지도 학습에 유용한 일반화된 기억화 인프라스트럭처를 형성하는가?
• RQ3 사전 훈련에 사용된 레이블이 없는 데이터셋의 크기가 성능 향상에 어떻게 영향을 미치는가?
• RQ4 성능 향상은 학습된 특징 때문인가, 아니면 더 나은 초기화로 인한 더 빠른 수렴 때문인가?
• RQ5 기억화 인프라스트럭처가 가장 효과적으로 형성되는 네트워크의 깊이 또는 레이어 유형은 무엇인가?

주요 결과

• 무작위 초기화 대비 UCF101에서 무작위 레이블 사전 훈련이 분류 정확도를 1.7% 향상시켰고, HMDB51에서는 0.8% 향상시켰다.
• Kinetics 데이터셋에서 Sports-1M의 40% 서브셋을 사용하여 랜덤 레이블로 사전 훈련한 결과, 정확도가 40.2%에 도달했으며, 사전 훈련 없이 기준 정확도 35.0% 대비 상대 오차 감소율 8%를 기록했다.
• 무작위 레이블 사전 훈련의 성능 향상은 상당히 크며, 기준 대비 5% 향상되었지만, 전체 Sports-1M 데이터셋에서 지도 사전 훈련으로 달성한 69.8% 정확도에는 못 미친다.
• 초기 무작위 레이블 사전 훈련 이후의 후속 기억화 과제는 첫 번째 과제보다 상당히 더 빨리 수렴함으로써 재사용 가능한 기억화 인프라스트럭처 형성 여부를 확인할 수 있었다.
• 성능 향상은 여러 데이터셋에서 일관되게 관찰되어, 학습된 인프라스트럭처가 다양한 비디오 행동 인식 작업 간에 일반화됨을 시사한다.
• 결과적으로, 입력 데이터와 관련성이 없는 레이블을 기억함으로써 특징 학습이 유도되며, 이는 이후 분류 작업에 유용함을 시사한다.