[논문 리뷰] Deep End2End Voxel2Voxel Prediction

Du Tran, Lubomir Bourdev외 3명|arXiv (Cornell University)|2015. 11. 20.

Advanced Vision and Imaging참고 문헌 24인용 수 10

한 줄 요약

이 논문은 비디오에서 박자 간 예측을 위해 엔드 투 엔드로 훈련된 완전 컨볼루션형 3D 컨볼루션 네트워크인 V2V를 소개한다. 이는 전처리 또는 후처리 없이 원시 비디오 입력과 단일 공유 아키텍처를 사용하여, 광학 흐름 추정, 세분화, 비디오 색상화라는 세 가지 다른 작업에서 경쟁 가능한 성능을 달성한다.

ABSTRACT

Over the last few years deep learning methods have emerged as one of the most prominent approaches for video analysis. However, so far their most successful applications have been in the area of video classification and detection, i.e., problems involving the prediction of a single class label or a handful of output variables per video. Furthermore, while deep networks are commonly recognized as the best models to use in these domains, there is a widespread perception that in order to yield successful results they often require time-consuming architecture search, manual tweaking of parameters and computationally intensive pre-processing or post-processing methods. In this paper we challenge these views by presenting a deep 3D convolutional architecture trained end to end to perform voxel-level prediction, i.e., to output a variable at every voxel of the video. Most importantly, we show that the same exact architecture can be used to achieve competitive results on three widely different voxel-prediction tasks: video semantic segmentation, optical flow estimation, and video coloring. The three networks learned on these problems are trained from raw video without any form of preprocessing and their outputs do not require post-processing to achieve outstanding performance. Thus, they offer an efficient alternative to traditional and much more computationally expensive methods in these video domains.

연구 동기 및 목표

• 단일이고 통합된 3D 컨볼루션 네트워크 아키텍처가 다양한 박자 수준의 비디오 예측 작업에 대해 엔드 투 엔드로 훈련될 수 있음을 보여주기 위해.
• 딥 러닝 모델이 높은 성능을 내기 위해 광범위한 아키텍처 특화, 하이퍼파라미터 튜닝, 또는 전처리/후처리를 반드시 필요로 한다는 인식을 도전하기 위해.
• 원시 비디오 데이터에 대해 엔드 투 엔드 훈련을 통해 실시간 응용에 적합한 효율적이고 정확한 모델을 얻을 수 있음을 보여주기 위해.
• 다른 도메인(예: 동작 인식)에서 사전 훈련된 모델이 하류의 박자 예측 작업 성능을 향상시키는지 조사하기 위해.
• 엔드 투 엔드 훈련을 통해 복잡한 수작업 알고리즘(예: 광학 흐름 방법)을 경량 딥 러닝 모델로 정제하는 것이 가능한지 평가하기 위해.

제안 방법

• 공간 해상도를 유지하고 조밀한 박자 수준의 출력을 가능하게 하기 위해 학습 가능한 업샘플링 레이어를 포함한 완전 컨볼루션형 3D 컨볼루션 네트워크를 사용한다.
• 광학 흐름, 세분화, 비디오 색상화라는 세 가지 다른 비디오 예측 작업에 대해 동일한 네트워크 아키텍처를 엔드 투 엔드로 훈련한다.
• 전처리 없이 원시 비디오 프레임을 입력으로 사용한다. 비디오 색상화의 경우 입력으로 흑백 비디오를 사용하고 RGB 출력을 예측한다.
• 비디오 색상화에는 L2 회귀 손실을, 세분화에는 교차 엔트로피 손실을 사용한다. 학습률 감소를 적용한 확률적 경사 하강법을 사용한다.
• 모든 작업에 대해 UCF101에서 미리 훈련하지 않고 처음부터 훈련하여 아키텍처의 일반화 능력을 강조한다.
• 모든 작업에 동일한 네트워크 아키텍처를 사용하여 이식 가능성과 최소한의 아키텍처 설계를 입증한다.

실험 결과

연구 질문

• RQ1 단일 고정된 3D 컨볼루션 네트워크 아키텍처가 여러 다른 박자 수준의 비디오 예측 작업에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 원시 비디오 입력에 대해 엔드 투 엔드 훈련을 수행하면 계산 비용이 높은 전처리 또는 후처리 단계가 필요 없어지는가?
• RQ3 복잡한 수작업 알고리즘(예: 광학 흐름)의 출력을 모방하도록 훈련된 딥 러닝 모델이 원래 방법보다 정확도와 효율성 면에서 뛰어나게 될 수 있는가?
• RQ4 사전 훈련된 모델(예: 동작 인식)에서 미세조정을 통해 하류의 박자 예측 작업 성능이 향상되는가, 아니면 처음부터 훈련하는 것이 더 효과적인가?
• RQ5 제한된 지도 학습 데이터로도 모델이 '일반적인 시각적 사전 지식'(예: 하늘의 파란색, 잔디의 초록색, 피부 톤 등)을 어느 정도 학습할 수 있는가?

주요 결과

• 동일한 3D 컨볼루션 네트워크 아키텍처가 광학 흐름 추정, 세분화, 비디오 색상화라는 세 가지 다른 박자 예측 작업에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다.
• 비디오 색상화에서 V2V 모델은 평균 거리 오차(ADE) 0.1375를 기록하여 2D 기준선(ADE 0.1495)을 능가하며, 더 높은 색상 예측 정확도를 입증한다.
• 광학 흐름 작업에서 수작업으로 설계된 방법의 출력을 훈련 데이터로 사용한 V2V 모델은 교사 방법보다 略적으로 더 높은 정확도를 달성하면서도 70배 빠른 속도를 기록한다.
• 하류 작업(예: 광학 흐름)이 사전 훈련된 모델(예: 동작 인식)과 다른 시각적 특징을 요구할 경우, 처음부터 훈련하는 것이 미세조정보다 성능이 뛰어나다.
• 제한된 지도 학습 조건에서도 모델은 천연스러운 색상(예: 하늘 파랑, 잔디 초록, 피부 톤)과 같은 의미 있는 의미론적 특징을 학습한다.
• 전처리 및 후처리 단계가 없고, 효율적인 컨볼루션 연산이 결합되어 실시간 추론이 가능하여, 대규모 비디오 응용에 적합한 모델이 된다.