[논문 리뷰] Back to Basics: Unsupervised Learning of Optical Flow via Brightness Constancy and Motion Smoothness

Jason J. Yu, Adam W. Harley외 1명|arXiv (Cornell University)|2016. 08. 20.

Advanced Vision and Imaging참고 문헌 12인용 수 28

한 줄 요약

이 논문은 빛의 일관성과 운동의 매끄러움을 손실 함수로 사용하여 단지 이미지 쌍만을 이용해 온전한 비지도 학습 방식의 광학 흐름 추정을 제안한다. 지도 학습에 비해 지도 학습이 부족한 KITTI 데이터셋에서 지도 학습을 능가하며, 비차폐 영역에서는 뛰어난 성능을 보이고 전체적으로도 경쟁력 있는 성능을 달성한다.

ABSTRACT

Recently, convolutional networks (convnets) have proven useful for predicting optical flow. Much of this success is predicated on the availability of large datasets that require expensive and involved data acquisition and laborious la- beling. To bypass these challenges, we propose an unsuper- vised approach (i.e., without leveraging groundtruth flow) to train a convnet end-to-end for predicting optical flow be- tween two images. We use a loss function that combines a data term that measures photometric constancy over time with a spatial term that models the expected variation of flow across the image. Together these losses form a proxy measure for losses based on the groundtruth flow. Empiri- cally, we show that a strong convnet baseline trained with the proposed unsupervised approach outperforms the same network trained with supervision on the KITTI dataset.

연구 동기 및 목표

• 지상 진짜 흐름 애너테이션을 필요로 하지 않고 컨volution 네트워크를 위한 비지도 학습 방법을 개발하는 것.
• 자율 주행과 같은 실세계 환경에서 대규모로 밀도 높은 애너테이션을 가진 광학 흐름 데이터셋이 부족한 문제를 다루는 것.
• 광학 일관성과 흐름의 매끄러움을 기반으로 한 프록시 손실이 정확한 광학 흐름 네트워크를 효과적으로 학습시킬 수 있음을 보여주는 것.
• 합성 데이터나 약한 지도 학습 데이터에 의존하지 않고, 자동차 영상과 같은 실세계 도메인의 방대한 비지도 영상 데이터를 활용해 학습할 수 있도록 하는 것.
• 지상 진짜 흐름이 제한되거나 가용하지 않을 경우 비지도 학습이 지도 학습 베이스라인을 능가할 수 있음을 검증하는 것.

제안 방법

• 광학 일관성을 강제하기 위해, 첫 번째 이미지와 예측된 흐름을 사용해 두 번째 이미지를 역워핑한 결과의 차이를 측정하는 광학적 손실을 사용한다.
• 이웃하는 흐름 벡터 간의 큰 차이를 방지하기 위해 공간적 매끄러움 손실을 적용하여 조각별로 매끄러운 흐름장을 유도한다.
• 총 손실은 광학적 손실과 매끄러움 손실의 가중합이며, 하이퍼파rameter는 각각 Flying Chairs 및 KITTI 데이터셋에 맞게 조정된다.
• 학습률 감소와 데이터 증강(기하학적(뒤집기, 스케일링) 및 광학적(색상 왜곡))을 포함한 Adam 최적화를 사용해 엔드 투 엔드로 네트워크를 학습시킨다.
• 어두운 또는 과포화된 영역에서의 강건성을 향상시키기 위해, 광학적 손실 계산 전에 기하학적으로 증강된 이미지를 국소 9×9 반응 정규화를 통해 정규화한다.
• 이 방법은 FlowNet Simple 아키텍처를 사용하며, 주 학습 단계에서는 어떤 지상 진짜 흐름도 사용하지 않는다.

실험 결과

연구 질문

• RQ1 지상 진짜 흐름 감독 없이도 컨volution 네트워크가 광학 흐름을 예측하도록 학습시킬 수 있는가?
• RQ2 광학 일관성과 흐름의 매끄러움 손실을 조합하면 지상 진짜 흐름 감독의 효과적인 프록시가 될 수 있는가?
• RQ3 지상 진짜 흐름이 부족한 상황에서 실세계 영상 데이터에 대한 비지도 학습이 지도 학습을 능가할 수 있는가?
• RQ4 KITTI와 같은 실세계 데이터셋에서 비지도 학습의 성능이 지도 학습 베이스라인과 어떻게 비교되는가?
• RQ5 지상 진짜 데이터가 제한된 실세계 환경, 예를 들어 자율 주행과 같은 상황에서 비지도 방법이 일반화 가능한가?

주요 결과

• KITTI 2012 데이터셋에서 비지도 방법은 비차폐 픽셀에서 평균 종단점 오차(EPE) 4.3을 기록하여 지도 학습 기반의 FlowNet 베이스라인(EPE 5.0)을 능가한다.
• 비차폐 영역을 포함한 전체 테스트 세트에서 비지도 방법은 EPE 4.6을 기록하며, 지도 학습 베이스라인(EPE 5.0)과 경쟁력을 유지한다.
• 비지도 방법은 KITTI 학습 세트에서 지도 학습 기반의 FlowNet을 능가하며, 이는 프록시 손실이 지상 진짜 데이터가 제한된 상황에서도 효과적임을 시사한다.
• 지상 진짜 데이터가 풍부한 Flying Chairs 데이터셋에서는 여전히 지도 학습 방법이 더 나은 성능을 보이며, 이는 지도 학습이 가용할 경우 최적임을 확인한다.
• 이 방법은 NVIDIA GTX 1080 GPU에서 추론당 0.03초의 속도로 실시간으로 작동하여 실용적 구현이 가능하다.
• 광학적 손실 계산 이전에 기하학적 증강과 국소 반응 정규화를 적용하는 것이 어두운 영역과 과포화 영역에서의 강건성을 크게 향상시킨다.