[논문 리뷰] ResFPN: Residual Skip Connections in Multi-Resolution Feature Pyramid Networks for Accurate Dense Pixel Matching

Rishav, René Schuster외 3명|arXiv (Cornell University)|2020. 06. 22.

Advanced Neural Network Applications참고 문헌 24인용 수 7

한 줄 요약

ResFPN는 고해상도 특징을 융합하는 잔차(skip) 연결을 갖춘 다중 해상도 특징 피라미드 네트워크를 도입하여 조밀한 픽셀 매칭에서 특징의 국소화 정확도와 표현 능력을 향상시킨다. 잔차 연결을 통해 고해상도 특징을 융합함으로써 KITTI, Sintel, FlyingThings3D와 같은 벤치마크에서 광학 흐름, 시_scene 흐름, 심도 추정의 정확도가 향상되며, 종단 간 학습 매칭 네트워크에서 종단 오차와 이방성 비율이 감소한다.

ABSTRACT

Dense pixel matching is required for many computer vision algorithms such as disparity, optical flow or scene flow estimation. Feature Pyramid Networks (FPN) have proven to be a suitable feature extractor for CNN-based dense matching tasks. FPN generates well localized and semantically strong features at multiple scales. However, the generic FPN is not utilizing its full potential, due to its reasonable but limited localization accuracy. Thus, we present ResFPN -- a multi-resolution feature pyramid network with multiple residual skip connections, where at any scale, we leverage the information from higher resolution maps for stronger and better localized features. In our ablation study, we demonstrate the effectiveness of our novel architecture with clearly higher accuracy than FPN. In addition, we verify the superior accuracy of ResFPN in many different pixel matching applications on established datasets like KITTI, Sintel, and FlyingThings3D.

연구 동기 및 목표

• 표준 특징 피라미드 네트워크(FPN)가 조밀한 픽셀 매칭 작업에서 국소화 정확도가 제한된 문제를 해결한다.
• 종단 간 학습 매칭 네트워크의 특징 표현 능력과 공간 정밀도를 향상시킨다.
• 객체 경계 및 가림 영역과 같은 도전적인 영역에서의 강인성과 세부 정보 유지 능력을 향상시킨다.
• 다양한 최신 매칭 아키텍처와 호환되는 모듈식이고 플러그인 형식의 특징 백본을 설계한다.
• 여러 조밀한 매칭 작업과 벤치마크 데이터셋에서 아키텍처를 검증한다.

제안 방법

• 잔차 스킵 연결을 통해 FPN 백본에 여러 고해상도 특징 맵을 통합하여 세밀한 세부 정보를 유지한다.
• 각 스케일에서 잔차 연결을 적용하여 기울기 경로 길이를 단축하고 학습 수렴을 향상시킨다.
• 공간 해상도와 스케일 간 의미 정보 강도를 유지하는 다중 해상도 특징 융합 전략을 사용한다.
• PSMNet, PWC-Net, PWOC-3D와 같은 기존 종단 간 매칭 프레임워크와 호환되는 모듈식 설계를 한다.
• FPN의 횡방향 연결을 활용하면서도 다중 스케일 잔차 특징을 추가로 통합하여 국소화 정확도를 향상시킨다.
• 매칭 헤드의 아키텍처를 변경하지 않고도 전체 매칭 파이프라인 내에서 특징 추출기의 종단 간 학습을 수행한다.

실험 결과

연구 질문

• RQ1 고해상도 특징 맵에서 온 잔차 스킵 연결이 FPN 기반 특징 추출기의 국소화 정확도 향상에 기여하는가?
• RQ2 다중 해상도 특징 융합이 조밀한 매칭 작업에서 종단 오차와 이방성 비율을 감소시키는가?
• RQ3 ResFPN은 광학 흐름, 시_scene 흐름, 심도 추정과 같은 다양한 매칭 작업에서 어떻게 성능을 발휘하는가?
• RQ4 ResFPN이 이미지의 경계 및 가림 영역에서 특징 품질을 얼마나 향상시키는가?
• RQ5 ResFPN는 아키텍처 수정 없이 다양한 최신 매칭 네트워크에서 효과적으로 플러그인 백본으로 사용될 수 있는가?

주요 결과

• ResFPN는 기준 FPN 대비 KITTI에서 시_scene 흐름 추정 시 종단 오차를 약 6% 감소시키며, FlyingThings3D에선 약 22% 감소시킨다.
• KITTI와 FlyingThings3D에서 시_scene 흐름 추정 시 ResFPN를 사용할 경우 이방성 비율이 약 15% 감소한다.
• KITTI에서 ResFPN는 PWOC-3D의 경계 오차(d20)를 6.54에서 6.80으로, PWC-Net의 경우 6.94에서 6.84로 개선하여 객체 경계 영역에서의 성능 향상을 확인한다.
• PSMNet를 사용한 심도 추정에서 ResFPN는 20픽셀 경계 거리에서 종단 오차를 1.70에서 1.35로 감소시켜 세부 정보 유지 능력 향상을 보여준다.
• 시각적 비교 결과, ResFPN가 작은 크기이거나 어두운 조명 조건에서의 물체와 같은 세부 정보를 더 잘 유지하는 것으로 확인되었으며, 특히 어려운 조명 조건과 가림 조건에서 유의미한 성능 향상을 보였다.
• 제거 분석 결과, 특히 다중 해상도 잔차 연결이 모든 작업과 데이터셋에서 성능 향상에 기여하는 데 핵심적인 역할을 한다.