[논문 리뷰] Optical Flow Requires Multiple Strategies (but only one network)

Tal Schuster, Lior Wolf외 1명|arXiv (Cornell University)|2016. 11. 17.

Advanced Vision and Imaging참고 문헌 22인용 수 4

한 줄 요약

이 논문은 광학 흐름을 위한 새로운 메트릭 학습 방법을 제안하며, 이는 이동 거리의 크기에 따라 동적으로 음성 샘플을 선택하고 훈련 난이도를 점진적으로 높임으로써 단일 딥 네트워크가 소규모 및 대규모 이동 거리에 대한 여러 매칭 전략을 동시에 처리하도록 훈련시킨다. 이 방법은 이동 거리의 크기에 따라 다양한 운동 시나리오에서 기술자 특징의 일반화 능력을 향상시켜 KITTI 2012 및 KITTI 2015 벤치마크에서 최신 기술 수준 성능을 달성한다.

ABSTRACT

We show that the matching problem that underlies optical flow requires multiple strategies, depending on the amount of image motion and other factors. We then study the implications of this observation on training a deep neural network for representing image patches in the context of descriptor based optical flow. We propose a metric learning method, which selects suitable negative samples based on the nature of the true match. This type of training produces a network that displays multiple strategies depending on the input and leads to state of the art results on the KITTI 2012 and KITTI 2015 optical flow benchmarks.

연구 동기 및 목표

• 소규모 대비 대규모 이동 거리에 대해 서로 다른 전략이 필요로 하는 광학 흐름 매칭의 본질적 이질성 문제를 해결하기 위해.
• 매칭 사례의 난이도와 특성의 다양성을 고려하여 딥 네트워크의 기술자 특징 학습을 향상시키기 위해.
• 아키텍처 변경 없이도 단일 네트워크가 여러 전략을 효과적으로 학습할 수 있도록 훈련 전략을 개발하기 위해.
• 특히 대규모 이동 거리에서 복잡한 실세계 장면의 전경 및 배경 영역에서 오차율을 감소시키기 위해.
• 향상된 기술자 일반화가 추가 데이터나 감독 없이도 표준 벤치마크에서 최신 기술 수준의 성능을 달성하는 데 기여함을 입증하기 위해.

제안 방법

• 진짜 매칭의 이동 거리와 일치하는 거리에서 음성 샘플을 선택하는 이동 거리 인식 음성 샘플링 전략을 제안하며, 기준값 근처에서 균일하게 선택하는 방식이 아니라 이를 방지한다.
• 난이도 기반 및 손실 기반 샘플 선택을 결합한 Self-Paced-Curriculum-Interleaving (SPCI) 훈련 체계를 도입하여 훈련 복잡성을 점진적으로 증가시킨다.
• 기존의 DrLIM 손실 대신 힌지 손실을 사용한 수정된 PatchBatch 파이프라인을 활용하여 기술자 특징 학습의 안정성과 성능을 향상시킨다.
• 이동 거리의 크기와 손실에 따라 훈련 샘플을 계층화하고 점차 더 어려운 샘플을 도입하는 커리큘럼 학습 접근법을 적용한다.
• 모든 훈련 데이터를 훈련 기간 내내 유지하며, 거리 기반 샘플링을 통한 음성 샘플의 난이도 조절을 통해 샘플 제거를 방지한다.
• 기존의 PatchBatch 기반 광학 흐름 프레임워크에 적용하여 아키텍처 변경 없이도 기술자 특징 학습 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 운동 크기의 존재를 고려할 때, 단일 딥 신경망이 광학 흐름에 대해 소규모와 대규모 이동 거리에 대해 서로 다른 전략을 효과적으로 학습할 수 있는가?
• RQ2 메트릭 학습 중 음성 샘플의 선택 방식이 소규모 및 대규모 이동 거리 시나리오 간 기술자 일반화에 어떤 영향을 미치는가?
• RQ3 난이도 기반과 손실 기반 샘플 선택을 혼합하는 커리큘럼 스타일의 훈련 스케줄이 도전적인 광학 흐름 벤치마크에서 성능 향상에 기여하는가?
• RQ4 향상된 기술자 특징 학습이 실세계 장면의 전경 및 배경 영역에서 오차율을 감소시키며, 특히 대규모 이동 거리에서 효과적인가?
• RQ5 손실 및 샘플링 전략의 단순한 수정이 추가 감독이나 데이터 없이도 더 복잡한 모델을 능가할 수 있는가?

주요 결과

• 제안된 SPCI 훈련 방법은 KITTI 2012에서 Out-Noc 오차율을 4.65%로 감소시켜 이전 방법들과 비교해 최신 기술 수준의 성능을 달성한다.
• KITTI 2015에서 이 방법은 Fl-all 오차율 18.46%를 기록하여 원본 PatchBatch(21.69%) 및 CNN-HPM(19.44%) 방법을 크게 앞서며 성능을 뛰어나게 한다.
• 모델은 전경 이격 오차(Fl-fg)를 24.52%로 줄이고 배경 오차(Fl-bg)를 17.25%로 낮춰 장면 영역 전반에 걸친 일반화 능력 향상을 보였다.
• MPI-Sintel 벤치마크에서 이 방법은 큰 오차 이동 거리 비율이 40.07%로 두 번째로 낮아, 원본 PatchBatch(45.86%)를 능가했으며, EPE에서 정상은 아니지만 성능이 뛰어나다.
• 작은 이동 거리에서 낮은 오차율(s0-10: 0.88)을 유지하면서도 대규모 이동 거리 오차율(s40+: 40.07%)을 크게 감소시켜 다양한 운동 스케일에서 균형 잡힌 성능을 보였다.
• 향상된 기술자 특징 학습 덕분에 아키텍처 변경 없이도 다양한 운동 시나리오로의 일반화가 가능해졌으며, 제안된 훈련 전략의 효과성을 입증했다.