[논문 리뷰] SegFlow: Joint Learning for Video Object Segmentation and Optical Flow

Jingchun Cheng, Yi‐Hsuan Tsai외 2명|arXiv (Cornell University)|2017. 09. 20.

Advanced Vision and Imaging참고 문헌 31인용 수 48

한 줄 요약

이 논문은 양방향 특징 전파를 통해 분할 및 유량 브랜치 간의 상호 보완적 학습을 가능하게 하는 엔드 투 엔드, 공동 학습된 CNN인 SegFlow를 제안한다. 이는 동시에 영상 객체 분할과 광학 유량 예측을 수행하며, 상호 감독을 통해 두 작업 모두를 향상시켜 DAVIS 및 Scene Flow 벤치마크에서 각각 2.50 및 4.06의 평균 엔드포인트 오차를 기록하며 최신 기술 수준을 달성한다. 또한 프레임당 0.3초의 실시간 추론 성능도 유지한다.

ABSTRACT

This paper proposes an end-to-end trainable network, SegFlow, for simultaneously predicting pixel-wise object segmentation and optical flow in videos. The proposed SegFlow has two branches where useful information of object segmentation and optical flow is propagated bidirectionally in a unified framework. The segmentation branch is based on a fully convolutional network, which has been proved effective in image segmentation task, and the optical flow branch takes advantage of the FlowNet model. The unified framework is trained iteratively offline to learn a generic notion, and fine-tuned online for specific objects. Extensive experiments on both the video object segmentation and optical flow datasets demonstrate that introducing optical flow improves the performance of segmentation and vice versa, against the state-of-the-art algorithms.

연구 동기 및 목표

• 정확한 영상 객체 분할과 광학 유량을 동시에 예측하는 데 도전하며, 이 두 작업은 본질적으로 상호의존적이지만 종종 별도로 최적화되는 경향이 있다.
• 분할 및 유량 브랜치 간의 이중 방향 특징 공유를 가능하게 하는 통합된 딥 러닝 프레임워크를 개발하여 두 작업의 성능 향상을 도모한다.
• 분할 및 유량 라벨이 짝지어진 대규모 데이터셋을 요구하지 않고도 공동 모델을 훈련시킬 수 있도록 한다.
• 실제 영상 분석 응용 분야에서 분할 및 유량 예측을 위한 실시간 추론을 달성한다.
• 분할과 유량이 상호 보완적임을 검증하고, 개별 작업 최적화를 넘어서 공동 학습이 성능 향상에 기여함을 입증한다.

제안 방법

• SegFlow는 이중 브랜치 CNN 아키텍처를 사용한다: 분할을 위한 완전 컨volutional ResNet-101 기반 브랜치와 광학 유량 추정을 위한 FlowNetS 아키텍처 기반 브랜치.
• 스킵 연결을 통해 다중 스케일에서 업샘플링 및 다운샘플링된 특징을 결합함으로써 양방향 특징 전파를 실현한다. 이는 공간 차원을 정렬하는 데 기여한다.
• 모델은 반복적 오프라인-온라인 전략으로 훈련된다: 먼저 한 작업의 진짜값을 사용해 사전 훈련을 수행한 후, 두 작업의 손실을 함께 최적화하며 번갈아가며 공동 미세조정을 수행한다.
• 훈련 중에 기울기가 양 브랜치를 거쳐 역전파되며, 이는 두 작업 예측 성능 향상을 위한 공유 표현을 학습할 수 있도록 한다.
• 모델는 분할 브랜치를 유량 가이던스로, 반대로 유량 브랜치를 분할 가이던스로 번갈아가며 업데이트하는 다단계 최적화 과정을 사용한다. 이는 양측에 모두 진짜값이 없는 상황에서도 수렴 가능성을 보장한다.
• 최종 모델은 표준 벤치마크를 통해 평가되며, 분할은 DAVIS, 유량은 Sintel, Flying Chairs, Scene Flow를 사용한다. 정량적 평가 지표로는 평균 엔드포인트 오차(AEE)와 JIoU가 포함된다.

실험 결과

연구 질문

• RQ1 독립적 훈련과 비교해 분할 및 유량 예측의 공동 학습이 두 작업의 성능 향상에 기여하는가?
• RQ2 분할 및 유량 브랜치 간의 이중 방향 특징 공유가 예측 정확도 향상에 어떻게 기여하는가?
• RQ3 분할 및 유량 진짜값이 짝지어진 대규모 데이터셋이 없이도 공동 모델을 훈련시키는 것이 가능한가?
• RQ4 제안된 반복적 훈련 전략이 두 작업 모두에서 높은 성능을 달성하는 해에 수렴할 수 있는가?
• RQ5 분할 가이던스가 움직이는 객체 내에서 더 완전하고 매끄러운 광학 유량 예측을 이끌어내는가?

주요 결과

• SegFlow는 Scene Flow 데이터셋에서 2.50의 평균 엔드포인트 오차(AEE)를 기록하여 FlowNetS+ft*(3.78 AEE)를 능가하고, Monkaa 및 Driving 데이터셋에서 SceneFlowNet과 동등하거나 슈퍼어리어한다.
• DAVIS 2017 검증 세트에서 SegFlow는 JIoU 71.0%를 달성하여 유량 없이 훈련된 베이스라인(Ours-flo) 및 최신 비지도 및 준지도 학습 방법을 크게 능가한다.
• Titan X GPU에서 프레임당 0.3초의 속도로 실행되어 실시간 응용에 적합하며, 온라인 미세조정을 포함하면 프레임당 7.9초가 소요된다.
• 반복적 훈련 전략은 한 번에 하나의 진짜값(분할 또는 유량)만 존재하는 상황에서도 수렴 가능하고 성능 향상을 이룬다.
• 시각적 결과는 분할에 기반한 유량 정규화 덕분에 움직이는 객체 내에서 더 매끄럽고 완전한 광학 유량 예측을 SegFlow가 생성함을 보여준다.
• KITTI 데이터셋에서 데이터 증강 없이도 SegFlow는 광범위한 데이터 증강을 사용한 FlowNetS+ft를 능가하며, 강력한 일반화 능력과 강인함을 입증한다.