[논문 리뷰] SENSE: a Shared Encoder Network for Scene-flow Estimation

Huaizu Jiang, Deqing Sun외 4명|arXiv (Cornell University)|2019. 10. 27.

Advanced Vision and Imaging참고 문헌 63인용 수 7

한 줄 요약

SENSE는 광학 흐름, 스테레오 디스패리티, 망막, 그리고 의미적 세그멘테이션을 하나의 컴act한 모델로 통합하는 공유 인코더 네트워크를 제안한다. 작업 간 특징 공유와 정규화 및 자기 지율 손실을 활용함으로써, 880만 파라미터와 1.5GB GPU 메모리로도 최신 기술 수준의 성능을 달성한다. 이는 더 큰 모델들보다 빠르고 효율적이며, 부분적으로 레이블이 부족한 실세계 데이터를 효과적으로 처리한다.

ABSTRACT

We introduce a compact network for holistic scene flow estimation, called SENSE, which shares common encoder features among four closely-related tasks: optical flow estimation, disparity estimation from stereo, occlusion estimation, and semantic segmentation. Our key insight is that sharing features makes the network more compact, induces better feature representations, and can better exploit interactions among these tasks to handle partially labeled data. With a shared encoder, we can flexibly add decoders for different tasks during training. This modular design leads to a compact and efficient model at inference time. Exploiting the interactions among these tasks allows us to introduce distillation and self-supervised losses in addition to supervised losses, which can better handle partially labeled real-world data. SENSE achieves state-of-the-art results on several optical flow benchmarks and runs as fast as networks specifically designed for optical flow. It also compares favorably against the state of the art on stereo and scene flow, while consuming much less memory.

연구 동기 및 목표

• 실세계 환경에서 망막 및 세그멘테이션과 같은 핵심 작업에 대한 지표 레이블이 희박하거나 부재하는 데이터 부족 문제를 해결하기 위해.
• 광학 흐름, 스테레오 디스패리티, 망막, 의미적 세그멘테이션와 같은 밀접하게 관련된 네 가지 작업 간에 공통 인코더를 공유함으로써 특징 표현과 모델 효율성을 향상시키기 위해.
• 부분적으로 레이블이 부족한 실세계 데이터에 대해 정규화 및 자기 지율 손실 항목을 도입하여 작업 간 상호작용을 활용함으로써 효과적인 훈련을 가능하게 하기 위해.
• 광학 흐름, 디스패리티, 스냅샷 플로우 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 추론 비용과 메모리 사용량을 낮게 유지하기 위해.

제안 방법

• 광학 흐름, 스테레오 디스패리티, 망막, 의미적 세그멘테이션의 네 가지 작업에 대해 공통 인코더를 사용함으로써, 다중 작업 훈련을 통한 특징 학습 향상과 파라미터 효율성을 달성한다.
• 각 작업 전용 디코더를 공통 인코더에 연결함으로써 개별 작업에 대한 훈련 및 추론의 유연성을 보장한다.
• 레이블 수가 적은 작업(예: 세그멘테이션 및 망막)에 대해 사전 훈련된 모델을 사용하여 정규화 손실을 적용함으로써 보조 데이터셋에서 지식을 전이한다.
• 자기 지율 손실은 일치성을 강제한다: 왜곡된 이미지에서 대응하는 픽셀은 유사한 외관(광학적 손실)과 유사한 의미 클래스(의미 일관성 손실)를 가져야 하며, 특히 하늘과 같은 레이블이 없는 영역에서 중요하다.
• 감독 학습, 정규화, 자기 지율 손실의 조합으로 훈련함으로써, 지표 레이블이 희박한 상황에서도 강력한 성능을 달성한다.
• 추론 효율성 향상을 위해 아키텍처를 최적화하여 KITTI 이미지에서 광학 흐름 추론 시간이 0.03초, 전체 스냅샷 플로우가 0.15초 이내로 구현된다.

실험 결과

연구 질문

• RQ1 여러 관련된 비전 작업 간에 공통 인코더를 공유함으로써 스냅샷 플로우 추정에서 특징 표현과 모델 효율성을 향상시킬 수 있는가?
• RQ2 정규화 및 자기 지율 손실을 효과적으로 조합하여 부분적으로 레이블이 없는 실세계 데이터에서 성능을 향상시킬 수 있는가?
• RQ3 통합 네트워크가 기존 모델보다 훨씬 작고 빠르면서도 광학 흐름, 디스패리티, 스냅샷 플로우에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 광학 흐름, 디스패리티, 망막, 세그멘테이션과 같은 작업 간의 상호작용이 지표 레이블이 없는 영역에서 얼마나 강건성을 향상시키는가?

주요 결과

• SENSE는 모든 네 가지 작업을 동시에 훈련할 경우 KITTI 2015에서 최신 기술 수준의 광학 흐름 성능을 달성하며, F1-occ 오차는 11.19%를 기록한다.
• 모든 작업을 사용할 경우 디스패리티 오차(D1-occ)가 KITTI 2015에서 2.59%로 감소하여 독립적으로 훈련된 모델들을 능가한다.
• 모든 작업을 함께 훈련했을 경우 의미적 세그멘테이션의 mIoU는 48.25%에 도달하여 다중 작업 학습을 통한 세그멘테이션 정확도 향상을 보여준다.
• SENSE는 광학 흐름에 대해 880만 파라미터, 전체 스냅샷 플로우 모델에 대해 1340만 파라미터를 사용하며, GPU 메모리는 1.5GB로, FlowNet3(7.4GB)의 20배 이하이며 PSMNet(4.2GB)보다도 훨씬 효율적이다.
• KITTI 이미지에서 광학 흐름 추론 시간은 0.03초, 전체 스냅샷 플로우 추론 시간은 0.15초로, 전용 흐름 네트워크와 동일한 속도를 달성한다.
• 제거 실험 결과, 정규화 및 자기 지율 손실을 조합할 경우 가장 높은 성능을 기록하며, 특히 지표 레이블이 없는 영역에서 잡음을 줄이기 위해 자기 지율 손실이 핵심적인 역할을 한다.