[논문 리뷰] Optical Flow with Semantic Segmentation and Localized Layers

Laura Sevilla-Lara, Deqing Sun외 2명|arXiv (Cornell University)|2016. 03. 12.

Advanced Vision and Imaging참고 문헌 35인용 수 15

한 줄 요약

이 논문은 정합성 있는 광학 흐름(SOF)을 제안하며, 단일 영상에서의 광학 흐름 추정을 향상시키기 위해 의미적 세그멘테이션을 통합하여 클래스별 운동 모델(평면에 대한 동차변환, 움직이는 물체에 대한 애핀 변환, 복잡한 영역에 대한 밀도 있는 흐름)을 적용한다. 국소화된 계층 모델을 사용하여 공간적으로 적응 가능한 방식으로 적용한다. SOF는 출판된 단일 영상 방법들 중에서 KITTI-2015 벤치마크에서 가장 낮은 오차를 기록하며, 운동 경계 및 저문자 영역에서 정확도가 크게 향상된다.

ABSTRACT

Existing optical flow methods make generic, spatially homogeneous, assumptions about the spatial structure of the flow. In reality, optical flow varies across an image depending on object class. Simply put, different objects move differently. Here we exploit recent advances in static semantic scene segmentation to segment the image into objects of different types. We define different models of image motion in these regions depending on the type of object. For example, we model the motion on roads with homographies, vegetation with spatially smooth flow, and independently moving objects like cars and planes with affine motion plus deviations. We then pose the flow estimation problem using a novel formulation of localized layers, which addresses limitations of traditional layered models for dealing with complex scene motion. Our semantic flow method achieves the lowest error of any published monocular method in the KITTI-2015 flow benchmark and produces qualitatively better flow and segmentation than recent top methods on a wide range of natural videos.

연구 동기 및 목표

• 운동 경계, 저문자 영역, 빠른 운동과 같은 과도한 조건에서의 광학 흐름 추정을 향상시키기 위해.
• 의미적 세그멘테이션을 활용하여 물체 클래스에 맞는 운동 모델(예: 도로에 대한 동차변환, 차량에 대한 애핀 변환)을 적용하기 위해.
• 전역 계층 모델의 한계를 해결하기 위해 공간적으로 적응 가능한 국소화된 계층 형식을 도입하여 영역별로 다를 수 있도록 하기 위해.
• 운동과 의미 간 상호 보완적 개선을 통해 광학 흐름 정확도와 세그멘테이션 품질을 동시에 향상시키기 위해.
• 실세계 영상 시퀀스에서 의미 정보를 광학 흐름 추정에 통합함으로써 유의미한 성능 향상을 보여주기 위해.

제안 방법

• 이 방법은 이미지 영역을 Things(독립적으로 움직이는 물체), Planes(도로와 같은 평면 표면), 그리고 Stuff(복잡하고 비평면적인 영역)로 분류하는 최신 의미적 세그멘테이션 네트워크를 사용한다.
• 각 의미적 클래스에 대해 별도의 운동 모델을 적용한다: Planes에는 동차변환, Things에는 편차가 있는 애핀 변환, Stuff에는 공간적으로 변화하는 밀도 있는 흐름을 적용한다.
• 국소화된 계층 모델을 도입하여, 각 공간 패치에는 최대 두 개의 계층(예: 전경 물체와 배경)이 포함되며, 계층의 범위는 영역별로 다를 수 있다.
• 운동 추정은 의미 레이블과 일치하도록 하고, 물체 경계에 맞는 계층 세그멘테이션을 선호하도록 하는 최적화 문제로 공식화된다.
• 이 방법은 유도적 반복을 통해 광학 흐름과 세그멘테이션을 동시에 개선하는 공동 최적화 프레임워크를 사용한다.
• 이 방법은 KITTI-2015 벤치마크와 다양한 YouTube 영상에 대해 엔드 투 엔드로 훈련 및 평가되며, 다중 척도 손실과 정규화를 사용한다.

실험 결과

연구 질문

• RQ1 저문자 영역, 빠른 운동, 음영 경계에서 의미적 세그멘테이션은 광학 흐름 추정을 향상시킬 수 있는가?
• RQ2 예를 들어 도로에 대한 동차변환, 차량에 대한 애핀 변환 등 클래스별 운동 모델은 일반적인 모델보다 더 정확한 흐름을 제공하는가?
• RQ3 계층 수와 범위가 공간적으로 다양하게 변하는 국소화된 계층 모델은 복잡한 시나리오에서 전역 계층 모델보다 우수한 성능을 내는가?
• RQ4 광학 흐름 추정은 특히 물체 경계에서 의미적 세그멘테이션을 향상시킬 수 있는가?
• RQ5 의미 정보와 운동 모델링을 통합하면 과도한 실세계 영상 시퀀스에서 흐름 이상치를 줄일 수 있는가?

주요 결과

• SOF는 출판된 모든 단일 영상 광학 흐름 방법들 중에서 KITTI-2015 벤치마크에서 가장 낮은 오차를 기록하며, Fl-all 오차는 16.81%이다.
• DiscreteFlow 대비 평균 5.5%의 오차 감소를 기록했으며, 도로와 움직이는 차량 근처에서 가장 큰 향상이 관찰되었다.
• 음영 영역에서 평균 30%의 이상치 감소를 기록했으며, 특히 Planes와 Things에 대해 운동 경계에서의 흐름 정확도가 향상되었다.
• 다양한 YouTube 시퀀스에서 최신 기술 대비 정성적으로 더 나은 세그멘테이션과 광학 흐름을 생성했으며, 특히 물체 경계를 보다 정교하게 개선했다.
• 광학 흐름 추정이 초기 의미적 세그멘테이션을 향상시켰으며, 특히 얇거나 모호한 영역에서 상호 보완적 개선이 확인되었다.
• 실행 시간은 관리 가능하며, KITTI-2015 프레임당 약 6분이 소요되며, 주로 초기 광학 흐름 추정(3분)과 물체 운동 모델링(1-2분)이 지배적이다.