[논문 리뷰] Unsupervised Enhancement of Real-World Depth Images Using Tri-Cycle GAN

Alona Baruhov, Guy Gilboa|arXiv (Cornell University)|2020. 01. 11.

Advanced Vision and Imaging참고 문헌 28인용 수 5

한 줄 요약

이 논문은 Intel RealSense R200와 같은 저가 센서에서 얻은 실세계의 깊이 이미지를, 고성능 Kinect 2의 비페어 데이터를 사용하여 무 supervision으로 향상시키기 위해 Tri-Cycle GAN 프레임워크를 제안한다. 더 큰 생성자, 깊이 전용 마스크 손실, 그리고 비대칭 도메인에서 정보 보존을 강제하는 새로운 Tri-Cycle 손실을 도입함으로써, 표준 Cycle-GAN에 비해 특히 심한 노이즈, 누락된 픽셀, 구조적 잡음과 같은 문제를 효과적으로 다루며 시각적 및 정량적 성능을 크게 향상시킨다.

ABSTRACT

Low quality depth poses a considerable challenge to computer vision algorithms. In this work we aim to enhance highly degraded, real-world depth images acquired by a low-cost sensor, for which an analytical noise model is unavailable. In the absence of clean ground-truth, we approach the task as an unsupervised domain-translation between the low-quality sensor domain and a high-quality sensor domain, represented using two unpaired training sets. We employ the highly-successful Cycle-GAN to this task, but find it to perform poorly in this case. Identifying the sources of the failure, we introduce several modifications to the framework, including a larger generator architecture, depth-specific losses that take into account missing pixels, and a novel Tri-Cycle loss which promotes information-preservation while addressing the asymmetry between the domains. We show that the resulting framework dramatically improves over the original Cycle-GAN both visually and quantitatively, extending its applicability to more challenging and asymmetric translation tasks.

연구 동기 및 목표

• 청정 지표나 분석적 노이즈 모델이 없는 저가 센서(예: Intel RealSense R200)에서 기록된 매우 열악한 실세계 깊이 이미지를 향상시키는 도전 과제를 해결하기 위해.
• 페어링된 훈련 데이터가 필요 없이, 저품질과 고품질 깊이 도메인 간의 무 supervision 도메인 번역 작업으로 깊이 향상 문제를 재정의하기 위해.
• 표준 Cycle-GAN이 이 비대칭적이고 복잡한 왜곡 환경에서 실패하는 문제를 해결하기 위해 아키텍처 및 손실 함수 수정을 도입하기 위해.
• 심한 노이즈, 누락된 픽셀, 비정규 분포의 왜곡 패tern이 존재하는 상황에서도 구조적 세부 정보를 유지하고 잡음을 최소화하는 방법 개발을 위해.

제안 방법

• 표준 생성자 대신 더 크고 깊은 아키텍처를 사용한 수정된 Cycle-GAN 프레임워크를 도입하여, 복잡한 깊이 구조와 왜곡 패턴을 더 잘 포착할 수 있도록 한다.
• 누락된 픽셀과 비균일한 데이터를 처리하기 위해 깊이 전용 마스크 처리된 유사도 손실을 도입하여 훈련 중 안정성을 향상시킨다.
• Moore-Penrose 역행렬의 비선형 일반화로, 비대칭 도메인에서 정보 보존이 가능한 새로운 Tri-Cycle 손실을 제안한다.
• 무 supervision 훈련을 위해, 저품질의 RealSense R200에서 수집한 실세계 깊이 이미지와 고품질의 Kinect 2 이미지 간의 페어링되지 않은 데이터를 사용한다.
• Tri-Cycle 손실은 실제 이미지를 목표 도메인으로 변환하고 다시 되돌릴 때 핵심적인 구조적 정보를 유지하도록 강제하며, 도메인이 비대칭일 경우에도 작동한다.
• 페어링된 지도 학습이 필요 없이, 적대적 손실, 사이클 일치성, 그리고 새로운 Tri-Cycle 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 청정 지표나 노이즈 모델이 없는 상황에서, 무 supervision 도메인 번역 프레임워크가 실세계 깊이 이미지를 효과적으로 향상시킬 수 있는가?
• RQ2 왜 표준 Cycle-GAN은 심한 비정규 분포이자 비대칭적인 왜곡 패턴을 가진 깊이 이미지 향상에서 실패하는가?
• RQ3 역함수가 정의되지 않거나 존재하지 않는 비대칭 도메인 번역 작업에서 정보 보존을 어떻게 강제할 수 있는가?
• RQ4 아키텍처의 확장과 도메인 특화 손실이 표준 Cycle-GAN을 초월해 GAN 기반 깊이 향상 성능을 얼마나 향상시킬 수 있는가?
• RQ5 제안된 Tri-Cycle 손실이 매우 열악한 깊이 이미지에서 구조적 세부 정보 보존과 잡음 감소 측면에서 표준 사이클 일치성보다 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 Tri-Cycle GAN은 시각적 품질과 정량적 지표에서 모두 기존의 Vanilla Cycle-GAN을 뛰어넘으며, 더 선명한 윤곽선과 더 적은 잡음을 생성한다.
• DROT 데이터셋에서, 이 방법은 PNCC 점수 0.633을 기록하여 Sparse Depth Sensing(0.611)를 능가하고 기초 Cycle-GAN(0.213)을 크게 앞서며 성능을 냈다.
• Tri-Cycle 손실의 포함으로 인해 누락된 픽셀이 크게 감소하고 기하학적 정확도가 향상되었으며, 특히 심하게 손상된 영역에서 두드러졌다.
• 깊이 전용 마스크 처리된 손실 덕분에, 강한 노이즈와 누락된 데이터가 있는 영역에서도 미세한 세부 정보와 물체 경계를 효과적으로 유지하였다.
• 실세계 환경에 대해 잘 일반화되어 있으며, 고품질의 Kinect 2 출력과 유사한 현실적이고 세밀한 깊이 맵을 생성하였다.
• 성공에도 불구하고, 모델은 종종 전형적인 Kinect 2의 잡음 패턴(예: 누락된 픽셀)을 재현하는 경향이 있어, 현실성과 정확성 사이의 상충 관계를 보였다.