[논문 리뷰] CutDepth:Edge-aware Data Augmentation in Depth Estimation

Yasunori Ishii, Takayoshi Yamashita|arXiv (Cornell University)|2021. 07. 16.

Advanced Vision and Imaging참고 문헌 14인용 수 18

한 줄 요약

CutDepth는 단일 영상에서 깊이 추정을 위한 가장자리 인식 데이터 증강 방법을 제안하며, 훈련 중에 컷된 깊이 맵을 RGB 이미지에 붙여넣음으로써 구조적 일致성을 유지하면서 특징 다양성을 향상시킨다. 이 방법은 잠재 공간을 정규화하여 기존의 CutMix 및 CutOut과 같은 전통적 증강 기법보다 목적적 및 주관적 평가에서 모두 더 높은 깊이 추정 정확도를 달성하며, 특히 장거리에서의 성능 향상이 두드러진다.

ABSTRACT

It is difficult to collect data on a large scale in a monocular depth estimation because the task requires the simultaneous acquisition of RGB images and depths. Data augmentation is thus important to this task. However, there has been little research on data augmentation for tasks such as monocular depth estimation, where the transformation is performed pixel by pixel. In this paper, we propose a data augmentation method, called CutDepth. In CutDepth, part of the depth is pasted onto an input image during training. The method extends variations data without destroying edge features. Experiments objectively and subjectively show that the proposed method outperforms conventional methods of data augmentation. The estimation accuracy is improved with CutDepth even though there are few training data at long distances.

연구 동기 및 목표

• 실제 세계 데이터의 제한성 문제를 해결하기 위해 새로운 데이터 증강 전략을 도입함으로써 단일 영상 깊이 추정의 과제를 해결한다.
• 최소한의 훈련 데이터로도 먼 거리의 물체에 대해 깊이 추정 성능을 향상시킨다.
• 증강 과정에서 가장자리 특징과 구조적 일致성을 유지하여 과도한 기하학적 왜곡을 방지한다.
• 증강된 입력을 통해 RGB 및 깊이 표현을 정렬함으로써 잠재 공간을 정규화한다.
• 다양성, 유사성, 추정 정확도 측면에서 방법의 효과성을 평가한다.

제안 방법

• CutDepth는 입력 RGB 이미지의 무작위 영역을 정답 깊이 맵의 해당 영역으로 교체함으로써 데이터 증강을 수행한다.
• 교체 영역은 균일 분포에서 추출된 무작위 매개변수 a, b, c, d에 의해 결정되며, 초모수 p에 의해 크기가 제어된다.
• 블렌딩은 이진 마스크 M를 통해 수행되며, x′_s = M * x_s + (1 - M) * x_t로 표현되어 RGB 및 깊이 특징 간의 공간 일치를 보장한다.
• 입력 채널과 깊이 채널이 다를 경우(C_s ≠ C_t), 채널 차원에 따라 연결되어 호환성을 유지한다.
• 깊이 및 RGB 가장자리 간의 공간적 대응을 보장함으로써 가장자리 특징을 유지하여 저수준 특징의 교란을 최소화한다.
• 표준 깊이 추정 평가 지표와 잠재 공간 거리 측정법(RMSE, MAE, 코사인 유사도)을 사용하여 접근법을 평가한다.

실험 결과

연구 질문

• RQ1 CutDepth는 기존의 데이터 증강 기법과 비교해 깊이 추정 정확도를 어떻게 향상시키는가?
• RQ2 CutDepth는 증강 과정에서 가장자리 특징과 구조적 일치성을 어느 정도 유지하는가?
• RQ3 CutDepth는 잠재 공간의 데이터 분포에서 다양성과 유사성에 어떤 영향을 미치는가?
• RQ4 CutDepth는 RGB 및 깊이 특징 간의 잠재 표현을 효과적으로 정규화하는가?
• RQ5 저데이터 환경에서, 특히 장거리 깊이 추정에 있어서 CutDepth는 성능을 유지하는가?

주요 결과

• KITTI 데이터셋에서 CutDepth는 베이스라인, CutOut, RE, CutMix 전부에 대해 모든 지표에서 승리했으며, Abs Rel(0.136), log10(0.055), RMSE(0.278), d1(92.8%)에서 최고 성능 기록.
• p = 0.75일 때 CutDepth는 안정적인 성능 유지를 보였지만, CutOut 및 RE와 같은 기존 방법들은 p 증가에 따라 성능이 크게 떨어졌다.
• 훈련 데이터의 25%만으로도 CutDepth는 d1 점수 89.7%를 기록하여, 베이스라인(87.2%)과 CutMix(88.9%)를 모두 초월했다.
• 잠재 공간에서 RGB 및 깊이 특징 간 코사인 거리가 CutDepth에서 가장 높았으며(p=0.25일 때 0.37), 더 강한 특징 정렬과 정규화를 나타낸다.
• CutDepth는 다양성과 유사성 측면에서 우수한 성능을 보였으며, 기존 베이스라인 및 기존 방법보다 더 넓은 분포 확산과 원래 데이터로부터의 더 작은 편차를 보였다.
• 주관적 평가에서 CutDepth는 베이스라인 및 CutMix보다 더 선명한 물체 윤곽과 더 나은 장거리 깊이 추정 성능을 제공하는 것으로 확인되었다.