[논문 리뷰] RecRecNet: Rectangling Rectified Wide-Angle Images by Thin-Plate Spline Model and DoF-based Curriculum Learning

Kang Liao, Lang Nie외 3명|arXiv (Cornell University)|2023. 01. 04.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 비지도 학습 기반의 새로운 딥러닝 프레임워크인 RecRecNet을 제안한다. 이는 비틀린 이미지의 왜곡을 제거하면서 왜곡되지 않은 내용과 직선 경계를 동시에 유지하기 위해 투명판 스퍼링(TPS) 모듈을 활용한 비선형 변형과 도의도수(Degree-of-Freedom, DoF) 기반의 커리큘럼 학습 전략을 결합한다. 이 방법은 4-DoF 유사성 변환에서 8-DoF 호모그래피 변환으로 점진적으로 변형 규칙을 학습함으로써 정량적 지표와 시각적 품질에서 뛰어난 성능을 달성한다.

ABSTRACT

The wide-angle lens shows appealing applications in VR technologies, but it introduces severe radial distortion into its captured image. To recover the realistic scene, previous works devote to rectifying the content of the wide-angle image. However, such a rectification solution inevitably distorts the image boundary, which changes related geometric distributions and misleads the current vision perception models. In this work, we explore constructing a win-win representation on both content and boundary by contributing a new learning model, i.e., Rectangling Rectification Network (RecRecNet). In particular, we propose a thin-plate spline (TPS) module to formulate the non-linear and non-rigid transformation for rectangling images. By learning the control points on the rectified image, our model can flexibly warp the source structure to the target domain and achieves an end-to-end unsupervised deformation. To relieve the complexity of structure approximation, we then inspire our RecRecNet to learn the gradual deformation rules with a DoF (Degree of Freedom)-based curriculum learning. By increasing the DoF in each curriculum stage, namely, from similarity transformation (4-DoF) to homography transformation (8-DoF), the network is capable of investigating more detailed deformations, offering fast convergence on the final rectangling task. Experiments show the superiority of our solution over the compared methods on both quantitative and qualitative evaluations. The code and dataset are available at https://github.com/KangLiao929/RecRecNet.

연구 동기 및 목표

• 기존 보정 방법이 이미지 경계를 왜곡하여 후속 비전 인식 모델의 성능을 떨어뜨리는 심각한 문제를 해결한다.
• 기하학적으로 정확한 내용과 규칙적인 직선 경계를 동시에 보존하는 승리-승리(win-win) 표현을 제안한다.
• 복잡한 비선형 및 비정규 변형을 모델링할 수 있는 융통성 있고 종단 간(end-to-end) 비지도 학습 프레임워크를 개발한다.
• 간단한 변환에서 복잡한 변환으로 점진적으로 진행되는 DoF 기반 커리큘럼 학습 전략을 도입하여 학습 안정성과 수렴 속도를 향상시킨다.
• 왜곡된 이미지 경계로 인해 비전 모델의 성능 저하가 발생하는 근본 원인을 규명하고, 다양한 비전 작업 전반에 걸쳐 광범위한 영향을 미친다는 것을 입증한다.

제안 방법

• 왜곡된 공간에서 보정된 이미지의 제어점을 학습하는 투명판 스퍼링(TPS) 운동 모듈을 사용하여 비선형 및 비정규 왜곡을 모델링한다.
• TPS를 사용해 변형을 미분 가능 변환으로 공식화함으로써 지도 학습 없이 종단 간 학습이 가능하도록 한다.
• 4-DoF 유사성 변환에서 시작하여 점차 8-DoF 호모그래피 변환으로 확장되는 DoF 기반 커리큘럼 학습 스케줄을 구현한다.
• 직선 경계에서 곡선 경계로의 진행을 통해 네트워크가 계층적인 기하 규칙을 학습하고 낮은 국소 최적값을 피할 수 있도록 커리큘럼을 설계한다.
• 쌍체의 실제 데이터가 필요 없는 이미지 재구성 및 구조 일致성 기반의 자기지도 학습 손실을 사용하여 TPS 변형을 최적화한다.
• 학습 파이프라인을 저복잡도 변환으로 초기화하고 점차 변형 능력을 정교화함으로써 수렴성과 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 왜곡된 경계가 Mask R-CNN와 같은 현대 비전 인식 모델의 성능 저하를 야기하는가?
• RQ2 이미지 내용을 보정하면서도 직선이고 규칙적인 이미지 경계를 동시에 보존할 수 있는 통합 표현을 학습할 수 있는가?
• RQ3 진행적인 DoF 기반 커리큘럼 학습이 넓은 시야각 이미지 보정을 위한 비정규 변형 네트워크 학습에 어떻게 기여하는가?
• RQ4 TPS 기반 변형 모델은 기존 보정 방법에 비해 기하학적 정확성과 의미 일致성을 얼마나 더 잘 유지하는가?
• RQ5 제안된 방법은 도메인 특화 미세조정 없이 다양한 실제 넓이 시야 렌즈와 합성 데이터셋에 일반화되는가?

주요 결과

• 9×9 제어점 그리드를 사용하는 TPS 모듈이 최고의 성능을 보였으며, 기준 데이터셋에서 PSNR 18.68, SSIM 0.5450, FID 19.01, LPIPS 0.1136의 성능을 기록했다.
• 4-DoF에서 8-DoF로의 진행을 따르는 커리큘럼 학습(Vanilla + C3)은 더 빠른 수렴과 더 나은 일반화를 가능하게 하여 기존의 바닐라 학습 대비 학습 에포크 수를 약 40% 감소시켰다.
• 제거 분석 결과, 제어점 밀도를 높일수록 경계 정렬 및 구조 복구 성능이 향상되며, 9×9가 최적임을 확인했다.
• RecRecNet은 다양한 렌즈(예: Rokinon 8mm, GoPro)에서 얻은 실제 넓이 시야각 이미지에 대해 잘 일반화되며, 교차 도메인 평가에서 최신 기술 수준의 방법들을 능가했다.
• 연구 결과, 왜곡된 경계는 특징 맵에 인위적인 에지와 특징을 유도하며, 이는 컨볼루션 레이어를 통해 전파되어 Mask R-CNN와 같은 모델에서 의미 오해를 일으킴을 밝혔다.
• 왜곡된 경계에서 유도되는 에지 효과는 보정 외에도 이미지 스티칭, 왜곡 보정, 롤 셔터 보정 등 다른 비전 작업에도 영향을 미치며, 이는 더 넓은 영향을 가진다는 것을 시사한다.