[논문 리뷰] Optimization Planning for 3D ConvNets

Zhaofan Qiu, Ting Yao외 2명|arXiv (Cornell University)|2022. 01. 11.

Human Pose and Action Recognition참고 문헌 38인용 수 6

한 줄 요약

이 논문은 3D ConvNets를 위한 최적화 계획 프레임워크를 제안하며, 학습 과정을 고정된 하이퍼파라미터(학습률, 클립 길이, 샘플링 전략)를 가진 상태의 연속으로 모델링하여 동적 프로그래밍과 무릎점 추정을 사용해 최적의 상태 전이를 결정함으로써 학습 중 하이퍼파라미터 스케줄링을 자동화한다. 이 방법은 최신 기술 수준의 성능을 달성하여 Kinetics-400에서 80.5%의 top-1 정확도와 Kinetics-600에서 82.7%의 정확도를 기록하며, 새로운 듀얼헤드 분류기 아키텍처를 사용한다.

ABSTRACT

It is not trivial to optimally learn a 3D Convolutional Neural Networks (3D ConvNets) due to high complexity and various options of the training scheme. The most common hand-tuning process starts from learning 3D ConvNets using short video clips and then is followed by learning long-term temporal dependency using lengthy clips, while gradually decaying the learning rate from high to low as training progresses. The fact that such process comes along with several heuristic settings motivates the study to seek an optimal "path" to automate the entire training. In this paper, we decompose the path into a series of training "states" and specify the hyper-parameters, e.g., learning rate and the length of input clips, in each state. The estimation of the knee point on the performance-epoch curve triggers the transition from one state to another. We perform dynamic programming over all the candidate states to plan the optimal permutation of states, i.e., optimization path. Furthermore, we devise a new 3D ConvNets with a unique design of dual-head classifier to improve spatial and temporal discrimination. Extensive experiments on seven public video recognition benchmarks demonstrate the advantages of our proposal. With the optimization planning, our 3D ConvNets achieves superior results when comparing to the state-of-the-art recognition methods. More remarkably, we obtain the top-1 accuracy of 80.5% and 82.7% on Kinetics-400 and Kinetics-600 datasets, respectively. Source code is available at https://github.com/ZhaofanQiu/Optimization-Planning-for-3D-ConvNets.

연구 동기 및 목표

• 3D ConvNets 학습에서 클립 길이, 샘플링 전략, 학습률 감쇠 간 복잡한 트레이드오프를 수반하는 수동적이고 히ュ리스틱한 하이퍼파라미터 튜닝 문제를 해결하기 위해.
• 고정된 하이퍼파라미터를 가진 이산 학습 상태 간의 경로 계획 문제로 학습 과정을 재구성하여 학습을 자동화하기 위해.
• 성능-에포크 곡선의 무릎점 기반으로 상태 간의 적응적 전이를 통해 모델 일반화 및 성능을 향상시키기 위해.
• 공간적 및 시간적 특징을 별도로 최적화할 수 있도록 공간적 및 시간적 특징을 개선하는 듀얼헤드 분류기를 포함한 새로운 3D ConvNet 아키텍처 DG-P3D를 설계하기 위해.
• 다양한 비디오 인식 벤치마크에서 일관된 성능 향상을 보이며 최적화 계획 프레임워크의 유효성을 검증하기 위해.

제안 방법

• 학습 과정을 고정된 하이퍼파라미터(클립 길이, 샘플링 전략(균일 또는 연속적), 학습률)로 정의된 이산 상태들로 분해한다.
• 유효한 상태 전이를 인코딩하기 위해 후보 전이 그래프를 구성하여 동적 프로그래밍을 통해 최적의 경로 탐색을 가능하게 한다.
• 성능-에포크 곡선의 비선형점 기반으로 최적의 전이 시점을 감지하기 위해 무릎점 추정 방법을 사용한다.
• 최적의 경로를 검증 세트에서 사전에 학습한 후 최종 모델 학습에 적용하여 적응적이고 데이터 기반의 하이퍼파라미터 스케줄링을 보장한다.
• 공간적 및 시간적 특징을 별도로 최적화할 수 있도록 DG-P3D 아키텍처에 새로운 듀얼헤드 분류기를 도입하여 분류 성능 향상.
• 동일한 최적화 경로를 사용해 여러 데이터셋에서 3D ConvNets를 학습시키며 효율성을 확보한다. 이 경로는 Kinetics-400과 Kinetics-600 간에 재사용된다.

실험 결과

연구 질문

• RQ1 3D ConvNets 학습을 위한 자동화되고 원칙적인 전략을 개발할 수 있는가? 이는 히ュ리스틱 하이퍼파라미터 튜닝을 대체할 수 있는가?
• RQ2 학습 중 클립 길이, 샘플링 전략, 학습률의 최적의 순서를 어떻게 결정할 수 있는가?
• RQ3 성능 곡선에 대한 동적 무릎점 탐지가 상태 간 전이 시점을 신뢰성 있게 알릴 수 있는가?
• RQ4 듀얼헤드 분류기는 3D ConvNets의 비디오 인식에서 공간적 및 시간적 특징 학습을 향상시키는가?
• RQ5 학습된 최적의 최적화 경로는 다양한 비디오 데이터셋 및 모odalities 간에 일반화 가능한가?

주요 결과

• 제안된 최적화 계획 프레임워크는 Kinetics-400에서 80.5%의 top-1 정확도를 달성하여 이전 최신 기술 수준의 LGD-3D보다 1.1% 높다.
• Kinetics-600에서는 82.7%의 top-1 정확도를 기록하며, 최고의 경쟁자인 X3D-XL보다 0.8% 높다.
• 이중 스트림 DG-P3D 모델은 RGB 및 플로우 입력을 모두 사용해 Kinetics-600에서 84.3%의 top-1 정확도를 달성하며, 이중 스트림 LGD-3D보다 1.2% 향상되었다.
• Kinetics-400에서 학습된 최적의 경로는 Kinetics-600로 효과적으로 일반화되어 데이터셋 간 이식 가능성을 입증했다.
• SS-V1과 SS-V2에서 DG-P3D는 각각 52.8%와 65.5%의 top-1 정확도를 기록하며, 이전 최고 성능 방법보다 각각 0.9%와 1.3% 높았다.
• 시험한 7개의 모든 벤치마크에서 이 방법은 일관되게 성능 향상을 보이며, 그 견고성과 일반화 능력을 입증했다.