[논문 리뷰] LiteFlowNet3: Resolving Correspondence Ambiguity for More Accurate Optical Flow Estimation

Tak-Wai Hui, Chen Change Loy|arXiv (Cornell University)|2020. 07. 18.

Advanced Vision and Imaging참고 문헌 30인용 수 4

한 줄 요약

LiteFlowNet3은 비용 볼륨 조절과 유동장 변형이라는 두 가지 새로운 모듈을 도입함으로써 광학 유동 추정을 향상시킨다. 비용 볼륨 조절은 신뢰도 맵으로 유도된 적응형 아핀 변환을 사용해 오염된 오차를 보완하고, 유동장 변형은 이웃한 일致된 유동을 사용해 정확도가 떨어지는 유동을 대체함으로써 정확도를 높인다. 이 방법은 Sintel과 KITTI 벤치마크에서 최신 기술 수준의 정확도를 달성하면서도 모델 크기는 작고( HD3보다 7.7배 작고), 추론 속도는 매우 빠르다(2.2배 빠름).

ABSTRACT

Deep learning approaches have achieved great success in addressing the problem of optical flow estimation. The keys to success lie in the use of cost volume and coarse-to-fine flow inference. However, the matching problem becomes ill-posed when partially occluded or homogeneous regions exist in images. This causes a cost volume to contain outliers and affects the flow decoding from it. Besides, the coarse-to-fine flow inference demands an accurate flow initialization. Ambiguous correspondence yields erroneous flow fields and affects the flow inferences in subsequent levels. In this paper, we introduce LiteFlowNet3, a deep network consisting of two specialized modules, to address the above challenges. (1) We ameliorate the issue of outliers in the cost volume by amending each cost vector through an adaptive modulation prior to the flow decoding. (2) We further improve the flow accuracy by exploring local flow consistency. To this end, each inaccurate optical flow is replaced with an accurate one from a nearby position through a novel warping of the flow field. LiteFlowNet3 not only achieves promising results on public benchmarks but also has a small model size and a fast runtime.

연구 동기 및 목표

• 차폐 및 균일한 이미지 영역으로 인해 발생하는 광학 유동 추정의 대응 모호성 문제를 해결한다.
• 유동 복원 정확도를 떨어뜨리는 비용 볼륨 내 오차의 영향을 줄인다.
• 粗-세밀 추론 과정에서 국소적 유동 일致성을 활용해 잘못된 유동을 보정함으로써 유동 정확도를 향상시킨다.
• 공개 벤치마크에서 높은 성능을 유지하면서도 모델 크기와 추론 시간을 최소화한다.
• HD3와 같은 큰 모델에서 흔히 발생하는 아티팩트를 피하는 경량이고 효율적인 네트워크를 개발한다.

제안 방법

• 신뢰도 맵를 사용해 비용 볼륨 내 각 비용 벡터에 적응형 아핀 변환을 적용하여 신뢰할 수 없는 유동 영역를 식별한다.
• 신뢰도 맵를 사용해 조절 매개변수를 유도함으로써 오직 고불확실성 영역만 보정되도록 보장한다.
• 특징이 유사한 근접 위치에서 더 정확한 유동으로 각 유동을 대체하는 새로운 메타워핑 메커니즘을 도입한다.
• 자기상관 비용 볼륨을 통해 이동 필드를 계산하고, 동일한 신뢰도 맵를 사용해 오류의 국소화를 유도한다.
• 비용 볼륨 조절과 유동장 변형을 모두 코arse-to-fine 프레임워크에 통합하여 반복적으로 유동 예측을 정밀하게 보정한다.
• 비행의자(FlyingChairs)에서 엔드 투 엔드로 모델을 훈련하고, Sintel과 KITTI에서 벤치마크 성능 향상을 위해 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 깊이 신경망에서 모호한 특징 매칭으로 인해 발생하는 비용 볼륨 오차를 효과적으로 완화할 수 있는 방법은 무엇인가?
• RQ2 부족한 대응 영역에서 국소적 유동 일치성이 광학 유동 정확도 향상에 얼마나 기여하는가?
• RQ3 신뢰도 맵가 비용 볼륨 조절 및 유동장 변형의 정밀도 향상에 기여하는가?
• RQ4 HD3 및 PWC-Net과 같은 최신 기술 대비 제안된 방법의 정확도, 모델 크기, 추론 속도는 어떻게 비교되는가?
• RQ5 두 모듈의 통합이 다양한 데이터셋에서 광학 유동 추정에 상호보완적 향상을 이끌어내는가?

주요 결과

• Sintel Final(학습 세트)에서 LiteFlowNet3는 3.91%의 AEE를 기록하여 PWC-Net+(4.02%)와 IRR-PWC(4.09%)를 능가했으며, HD3보다 7.7배 작은 모델 크기를 확보했다.
• KITTI 2015에서 LiteFlowNet3는 10.40%의 AEE를 기록하여, 단 두 프레임 훈련만으로도 HD3(10.65%)와 SelFlow(10.70%)를 앞서며 전경 영역에서 승리했다.
• 제거 실험 결과, 비용 볼륨 조절과 유동장 변형(CMFD)을 조합할 경우 가장 우수한 성능을 기록했으며, CM만 사용할 경우 대비 KITTI 2015에서 AEE가 0.25% 감소했다.
• 신뢰도 맵는 두 모듈 모두에서 중요한 역할을 하며, 이를 비활성화하면 Sintel Final에서 AEE가 0.07 증가하고 KITTI 2015에서도 0.07 증가하여 오류 국소화의 중요성을 입증했다.
• 시각적 결과는 CMFD가 Sintel에서 녹색 아티팩트를 효과적으로 제거하고, KITTI에서 복잡한 구조물(예: 앞유리, 간판) 주변의 누락된 유동을 보완함을 보여준다.
• LiteFlowNet3는 IRR-PWC(180ms)보다 2.2배 빠르고, HD3(39.9M 파rameters)보다 7.7배 작으며, 모든 벤치마크에서 뛰어난 정확도를 유지한다.