[논문 리뷰] Hybrid Learning of Optical Flow and Next Frame Prediction to Boost Optical Flow in the Wild

Nima Sedaghat, Mohammadreza Zolfaghari외 1명|arXiv (Cornell University)|2016. 12. 12.

Advanced Vision and Imaging참고 문헌 31인용 수 15

한 줄 요약

이 논문은 실생활 영상에서 지도 학습을 위해 합성 데이터(정답 유사도 포함)와 실영상 데이터를 함께 사용하면서, 자율 학습 기반의 다음 프레임 예측을 보조 과제로 활용하는 하이브리드 학습 프레임워크를 제안한다. 이 방법은 샘플 기반의 다중 과제 아키텍처를 사용하여 지도 학습과 자율 학습 간을 번갈아가며 수행하며, KITTI 벤치마크에서 최신 기술 수준의 성능을 달성하고 행동 인식 성능을 크게 향상시키며, 적대적 손실 없이도 다음 프레임 예측 정확도를 향상시킨다.

ABSTRACT

CNN-based optical flow estimation has attracted attention recently, mainly due to its impressively high frame rates. These networks perform well on synthetic datasets, but they are still far behind the classical methods in real-world videos. This is because there is no ground truth optical flow for training these networks on real data. In this paper, we boost CNN-based optical flow estimation in real scenes with the help of the freely available self-supervised task of next-frame prediction. To this end, we train the network in a hybrid way, providing it with a mixture of synthetic and real videos. With the help of a sample-variant multi-tasking architecture, the network is trained on different tasks depending on the availability of ground-truth. We also experiment with the prediction of "next-flow" instead of estimation of the current flow, which is intuitively closer to the task of next-frame prediction and yields favorable results. We demonstrate the improvement in optical flow estimation on the real-world KITTI benchmark. Additionally, we test the optical flow indirectly in an action classification scenario. As a side product of this work, we report significant improvements over state-of-the-art in the task of next-frame prediction.

연구 동기 및 목표

• 실생활 영상에서 정답 유사도가 부족한 환경에서 딥 컨볼루션 네트워크 기반의 유사도 추정 성능을 향상시키기 위해.
• 정답이 없는 실영상 데이터로부터 특징 학습을 향상시키기 위해 자율 학습 기반의 다음 프레임 예측을 보조 과제로 활용하기 위해.
• 데이터 소스에 따라 지도 학습 기반의 유사도 추정과 자율 학습 기반의 프레임 예측 간을 동적으로 전환하는 다중 과제 아키텍처를 설계하기 위해.
• 하이브리드 학습의 영향을 행동 인식과 같은 후행 과제에서 평가하여, 유사도 외의 분야로의 전이 가능성 입증하기 위해.
• 다음 프레임 예측 대신 '다음 유사도'를 예측할 경우, 유사도 목표와 더 잘 일치하는지 탐색하기 위해.

제안 방법

• 합성 영상(정답 유사도 포함)과 실영상(정답 없음)의 혼합 데이터를 사용하여, 다중 과제 기반의 엔드 투 엔드 딥 네트워크를 학습한다.
• 샘플 기반의 다중 과제 아키텍처는 '멀티플렉서'를 사용하여 입력을 다른 브랜치로 라우팅하며, 합성 데이터에서는 유사도 추정, 실영상에서는 유사도 + 프레임 예측을 동시에 수행한다.
• 과제 간 특징 인코더를 공유하며, 유사도 추정을 위한 2채널 출력과 프레임 예측을 위한 3채널 출력을 가진 과제 전용 헤드를 사용한다.
• 프레임 예측과의 정렬을 향상시키기 위해, 전체 해상도의 유사도 필드를 생성하기 위해 추가로 두 개의 업컨볼루션 레이어를 포함한다.
• 합성 데이터와 실영상 데이터 사이의 학습 사이클을 번갈아 수행하며, 실영상 대 합성 영상의 사이클 비율이 5:1일 때 최적임을 발견하였다.
• 표준 다음 프레임 예측과 '다음 유사도' 예측을 비교하는 분석 연구를 수행하며, 네트워크가 다음 프레임과 현재 프레임 사이의 유사도를 예측하도록 설계한다.

실험 결과

연구 질문

• RQ1 정답 유사도가 있는 합성 데이터에서의 지도 학습과 결합하여, 자율 학습 기반의 다음 프레임 예측이 실생활 영상에서의 유사도 추정 성능 향상에 기여하는가?
• RQ2 실영상 대 합성 영상의 학습 사이클 비율이 유사도 추정 성능와 일반화 능력에 미치는 영향은 어떠한가?
• RQ3 다음 프레임 예측 대신 '다음 유사도'를 예측할 경우, 유사도 목표와의 더 나은 일치로 인해 더 나은 유사도 품질을 얻을 수 있는가?
• RQ4 다음 프레임 예측이라는 보조 과제가 행동 인식과 같은 후행 응용 분야에서의 성능 향상에 기여하는가?
• RQ5 다중 과제 학습이 필수적인가, 아니면 사전 학습 후 미세 조정 전략만으로도 전이 학습 성능을 달성할 수 있는가?

주요 결과

• KITTI 벤치마크에서 제안된 하이브리드 방법은 기준 모델인 FlowNet 대비 유의미한 향상을 보이며, 평균 종단점 오차(EPE)를 유의미하게 감소시켰다.
• UCF101과 HMDB51에서의 행동 인식 성능 평가에서, 기준 모델인 FlowNet 대비 각각 12.1%와 9.8%의 정확도 향상을 기록하였다.
• '다음 프레임' 대신 '다음 유사도'를 예측하는 방식으로 교체할 경우, 행동 인식 성능 향상이 더욱 두드러지며, 운동 모델링과의 더 나은 일치를 시사한다.
• 단순 L1 손실만을 사용하여도, UCF101에서 다음 프레임 예측 성능이 최신 기술 수준을 달성하였으며, 적대적 방법 대비 전체 이미지 품질과 강인성 면에서 뛰어난 성능을 보였다.
• 실영상 대 합성 영상의 학습 비율에 대해 넓은 범위에서 안정적인 성능을 유지하였으며, 최적 비율이 5:1일 때 성능이 가장 뛰어났고, 이로부터 벗어나도 성능 저하가 미미하였다.
• 프레임 예측 사전 학습 후 미세 조정 전략은 통합 다중 과제 학습 성능을 따라오지 못하였으며, 엔드 투 엔드 다중 과제 최적화의 필요성을 입증하였다.