[논문 리뷰] Indoor Depth Completion with Boundary Consistency and Self-Attention

Yu–Kai Huang, Tsung-Han Wu외 2명|arXiv (Cornell University)|2019. 08. 22.

Advanced Vision and Imaging참고 문헌 35인용 수 5

한 줄 요약

이 논문은 실내 환경에서 깊이 맵 품질을 향상시키기 위해 자기주의 메커니즘과 경계 일관성을 통합한 새로운 엔드 투 엔드 깊이 보완 네트워크를 제안한다. 자기주의를 통해 장거리 의존성을 포착하고 보조 네트워크를 통해 경계 일관성을 강제함으로써, 이 방법은 Matterport3D 데이터셋에서 최신 기술 수준의 성능을 달성하여 깊이 맵의 흐림을 크게 줄이고 구조적 사실성과 일치성을 향상시킨다.

ABSTRACT

Depth estimation features are helpful for 3D recognition. Commodity-grade depth cameras are able to capture depth and color image in real-time. However, glossy, transparent or distant surface cannot be scanned properly by the sensor. As a result, enhancement and restoration from sensing depth is an important task. Depth completion aims at filling the holes that sensors fail to detect, which is still a complex task for machine to learn. Traditional hand-tuned methods have reached their limits, while neural network based methods tend to copy and interpolate the output from surrounding depth values. This leads to blurred boundaries, and structures of the depth map are lost. Consequently, our main work is to design an end-to-end network improving completion depth maps while maintaining edge clarity. We utilize self-attention mechanism, previously used in image inpainting fields, to extract more useful information in each layer of convolution so that the complete depth map is enhanced. In addition, we propose boundary consistency concept to enhance the depth map quality and structure. Experimental results validate the effectiveness of our self-attention and boundary consistency schema, which outperforms previous state-of-the-art depth completion work on Matterport3D dataset. Our code is publicly available at https://github.com/tsunghan-wu/Depth-Completion.

연구 동기 및 목표

• 신경망 기반 깊이 보완에서 흐린 경계와 열악한 구조적 사실성 문제를 해결한다.
• 이웃 픽셀의 깊이 값을 복사하거나 퍼뜨리는 방식의 보간 기반 방법의 한계를 극복한다.
• 센서의 제약으로 인해 큰 부재 영역이 발생하는 환경(예: 반사성, 투명성, 또는 먼 표면)에서도 깊이 보완의 강인성을 향상시킨다.
• 기하학적 이해와 의미적 인식 능력을 향상시키는 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.
• 객체 경계를 유지하고 구조적 사실성을 향상시키기 위해 새로운 정규화 전략으로 경계 일관성을 도입한다.

제안 방법

• 입력 전역에서 의미적이고 기하학적으로 관련된 영역에 특징 맵이 다이나믹하게 주목할 수 있도록 인코더-디코더 아키텍처에 자기주의 메커니즘을 통합한다.
• 표면 법선과 막힘 경계를 보조 감독 신호로 사용하여 자기주의 메커니즘을 안내하고 깊이 추정 정확도를 향상시킨다.
• 예측된 깊이 맵에서 막힘 경계를 생성하는 별도의 경계 예측 헤드를 학습하며, 이를 주 깊이 보완 네트워크를 감독하는 데 사용한다.
• 예측된 경계와 진짜 경계 간의 편차를 벌리지 않도록 하는 경계 일관성 손실을 적용하여 더 선명하고 현실적인 깊이 구조를 촉진한다.
• SSIM 및 RMSE 손실을 사용한 다중 척도 감독을 조합하여 시각적 품질과 회귀 정확도를 향상시킨다.
• RMSE, SSIM, 경계 일관성 손실을 조합한 복합 손실 함수를 사용하여 전체 모델을 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 자기주의 메커니즘이 국소 보간에 의존하지 않고 의미적이고 기하학적으로 관련된 영역에 집중할 수 있도록 함으로써 깊이 보완 성능을 향상시킬 수 있는가?
• RQ2 보조 네트워크를 통해 경계 일관성을 강제하면 표준 감독 방식에 비해 더 선명하고 정확한 깊이 경계를 얻을 수 있는가?
• RQ3 자기주의와 경계 일관성을 통합함으로써 Matterport3D와 같은 벤치마크 데이터셋에서 이전 최신 기술 수준의 방법들에 비해 성능 향상은 어느 정도 이루어지는가?
• RQ4 반사성 또는 투명한 표면으로 인해 큰 영역이 손실된 어려운 케이스에서는 제안된 방법이 어떻게 대처하는가?
• RQ5 복잡한 기하학적 구조와 다양한 조명 조건을 가진 실제 실내 환경에서도 모델이 일반화되어 구조적 사실성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 Matterport3D 데이터셋에서 테스트 RMSE 1.092를 달성하여 이전 최신 기술 수준의 방법들을 능가한다.
• 경계 일관성을 적용한 모델은 10% 이내 오차 범위 내 예측 비율이 75.8%에 달하며, 기준 모델 대비 뚜렷한 향상이 이루어졌다.
• 자기주의와 경계 일관성을 포함함으로써 SSIM은 0.605(자기주의 없음)에서 0.799로 상승하여 구조 유사성과 선명한 경계에 큰 성과를 거두었다.
• 절단 실험 결과 경계 일관성이 구조적 품질 향상에 가장 기여하며, SSIM은 3% 향상되었고, 경계 검출의 선명함 또한 뚜렷한 개선이 있었다.
• 주의 맵을 통해 네트워크가 객체 경계와 손실 영역에 집중하는 것을 시각화할 수 있었으며, 깊이 보완을 위한 효과적인 특징 선택이 이루어지고 있음을 입증했다.
• 비엔드 투 엔드 최적화 기반 방법에 비해 더 빠른 학습과 실시간 추론을 달성하여 로봇 및 AR/VR 애플리케이션에 실용적인 구현이 가능하다.