[논문 리뷰] Occlusion Edge Detection in RGB-D Frames using Deep Convolutional Networks

Soumik Sarkar, Vivek Venugopalan외 4명|arXiv (Cornell University)|2014. 12. 22.

Industrial Vision Systems and Defect Detection참고 문헌 25인용 수 9

한 줄 요약

이 논문은 RGB-D 영상 프레임에서 가림 가장자리 검출을 위한 딥 컨volution 신경망(CNN)을 제안하며, 이 작업을 이미지 패치의 중심 픽셀 분류 문제로 간주한다. 이 방법은 RGB-D 및 RGB 입력 모두에서 뛰어난 성능을 발휘하며, 깊이 데이터가 있으면 정확도가 향상되고 깊이 데이터가 없더라도 거짓 경고율이 낮아져 실시간 로봇 응용 분야에 적합하다. 이는 해상도와 속도 사이의 조절 가능한 트레이드오프를 제공한다.

ABSTRACT

Occlusion edges in images which correspond to range discontinuity in the scene from the point of view of the observer are an important prerequisite for many vision and mobile robot tasks. Although they can be extracted from range data however extracting them from images and videos would be extremely beneficial. We trained a deep convolutional neural network (CNN) to identify occlusion edges in images and videos with both RGB-D and RGB inputs. The use of CNN avoids hand-crafting of features for automatically isolating occlusion edges and distinguishing them from appearance edges. Other than quantitative occlusion edge detection results, qualitative results are provided to demonstrate the trade-off between high resolution analysis and frame-level computation time which is critical for real-time robotics applications.

연구 동기 및 목표

• 로봇 주행, 잡기, SLAM 등의 작업에 핵심적인 역할을 하는 RGB-D 영상 프레임 내 가림 가장자리 검출을 위한 딥 러닝 기반 방법 개발.
• RGB-D 및 RGB 입력을 사용한 CNN의 성능 평가를 통해 깊이 데이터의 검출 정확도에 미치는 영향 분석.
• 모바일 로봇 응용 분야에 실시간 구현을 위해 고해상도 가장자리 검출과 프레임 단위 계산 시간 사이의 트레이드오프 분석.
• 가시성 가장자리와 가림 가장자리를 구분하기 위해 계층적 특징 학습을 활용함으로써 수작업 특징 추출이 필요 없도록 하는 것.
• 공개된 RGB-D 기준 데이터셋을 사용하여 확장 가능한 하드웨어 가속 아키텍처를 제공하는 것.

제안 방법

• 가림 가장자리 검출 작업은 21×21 이미지 패치의 중심 픽셀에 대한 이진 분류 문제로 설정되며, RGB-D 또는 RGB 채널에서 입력을 받는다.
• 57,518개의 학습 패치가 RGB-D 프레임에서 추출되어, Supervised learning을 사용해 엔드 투 엔드로 딥 CNN 아키텍처를 훈련시킨다.
• 신경망은 ReLU 활성화 함수를 사용하며, NVIDIA K-40 GPU에서 최적화되며, 기준 데이터셋은 TUM RGB-D 데이터셋 컬렉션에서 확보된다.
• 패치 수준의 예측은 다양한 스트라이드(4 및 8)를 사용한 슬라이딩 윈도우 방식을 통해 융합되어 전체 프레임의 가림 가장자리 지도를 생성한다.
• 후처리 단계로 신뢰도 히트맵 생성 및 공간적 집합을 수행하여 가장자리의 연속성을 향상시키고 노이즈를 감소시킨다.
• 표준 평가 지표를 사용해 모델을 평가하며, 테스트 패치 1,271,002개에 대해 총 오차율, 거짓 경고율, 누락 검출율을 측정한다.

실험 결과

연구 질문

• RQ1 딥 CNN은 수작업 특징 없이 RGB-D 영상 프레임에서 가림 가장자리를 효과적으로 검출할 수 있는가?
• RQ2 깊이 정보를 제거하고 RGB만을 사용할 경우, CNN의 성능은 어떻게 저하되는가?
• RQ3 실시간 로봇 응용 분야에서 해상도(스트라이드를 통한)와 계산 효율성 사이의 트레이드오프는 어떠한가?
• RQ4 CNN은 텍스처나 조명으로 인한 외관 가장자리와 가림 가장자리를 높은 정밀도로 구분할 수 있는가?
• RQ5 깊이 데이터의 포함 여부가 가림 가장자리 검출의 거짓 경고율과 누락 검출율에 어떤 영향을 미치는가?

주요 결과

• RGB-D 입력을 사용할 경우 총 오차율이 15.7%로 나타났으며, 이는 RGB 전용 입력(15.74%)보다 유의미하게 뛰어난 성능을 보였다.
• 거짓 경고율은 매우 낮았으며, RGB-D의 경우 15.38%, RGB의 경우 15.42%로, 임의의 가장자리 검출에 대한 강력한 내성성을 보였다.
• 누락 검출율은 높았으며, RGB-D의 경우 43.59%, RGB의 경우 45.71%로, 복잡한 환경에서 진짜 가림 가장자리를 탐지하는 데 모델이 어려움을 겪고 있음을 시사했다.
• 깊이 데이터 제거 시 거짓 경고율 측면에서 성능 저하가 미미하여, RGB 특징만으로도 신뢰할 수 있는 가장자리 분류가 가능하다는 것을 시사했다.
• 낮은 스트라이드(4)는 스트라이드 8보다 더 높은 해상도의 가장자리 지도를 생성하고 거짓 탐지 수를 줄였지만, 계산 시간이 증가하는 비용을 지ays다.
• 훈련 과정에서 수렴 현상이 관찰되지 않았으며, 에포크가 진행되면서 훈련 오차가 감소하는 것으로 나타났다. 이는 ReLU 활성화 함수의 사용 덕분으로 여겨진다.