[논문 리뷰] Incorporating Depth into both CNN and CRF for Indoor Semantic Segmentation

Jindong Jiang, Zhijun Zhang외 2명|arXiv (Cornell University)|2017. 05. 21.

Advanced Image and Video Retrieval Techniques참고 문헌 1인용 수 11

한 줄 요약

이 논문은 깊이 정보를 확장된 완전 컨volution 네트워크(DFCN)와 깊이 민감 조건부 랜덤 필드(DCRF) 양쪽에 통합하는 새로운 RGB-D 세분화 프레임워크인 DFCN-DCRF를 제안한다. 네트워크의 초기 단계에서 RGB와 깊이 입력을 융합하고 깊이 인식 CRF 정밀 조정을 적용함으로써, SUN RGB-D 벤치마크에서 39.3%의 평균 IoU를 기록하여 기존의 깊이 정보를 한 구성 요소에만 사용하는 방법들을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

To improve segmentation performance, a novel neural network architecture (termed DFCN-DCRF) is proposed, which combines an RGB-D fully convolutional neural network (DFCN) with a depth-sensitive fully-connected conditional random field (DCRF). First, a DFCN architecture which fuses depth information into the early layers and applies dilated convolution for later contextual reasoning is designed. Then, a depth-sensitive fully-connected conditional random field (DCRF) is proposed and combined with the previous DFCN to refine the preliminary result. Comparative experiments show that the proposed DFCN-DCRF has the best performance compared with most state-of-the-art methods.

연구 동기 및 목표

• RGB 데이터 외에 깊이 정보를 활용하여 실내 세분화 정확도를 향상시키기.
• 특히 유사한 색상의 물체가 있는 장면에서 RGB 전용 CNN의 경계 오분류 문제를 해결하기.
• 깊이 정보를 컨volution 네트워크와 CRF 구성 요소 양쪽에 통합하는 통합 아키텍처를 설계하여 더 나은 맥락적 추론을 가능하게 하기.
• 깊이 통합이 특징 학습 단계와 후처리 단계 양쪽에서 효과적인지 검증하기.

제안 방법

• DFCN 모듈은 늦은 융합 구조를 사용하여 초기 컨볼루션 레이어에서 RGB와 깊이 입력을 융합하고, 다이레이티드 컨볼루션을 적용하여 다운샘플링 없이 수용영역을 확장한다.
• RGB와 깊이 특징을 CRF의 잠재 함수에 사용하는 깊이 민감 전이형 CRF(DCRF)를 설계한다.
• DFCN의 고수준 특징과 DCRF의 맥락적 정밀 조정을 조합하여 세분화 경계를 향상시키는 DFCN-DCRF 프레임워크를 구성한다.
• 유사한 RGB 외관을 가진 물체이지만 다른 3차원 구조를 가진 물체를 더 잘 구분하기 위해 학습된 깊이 인식 쌍별 잠재 함수를 DCRF가 사용한다.
• DFCN에서 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 학습하고, DCRF에서는 근사 추론을 통해 최적화한다.
• 제거 분석을 통해 DFCN, DCRF, 또는 둘 다에 깊이 통합을 적용한 경우를 비교하며, SUN RGB-D 벤치마크를 사용한다.

실험 결과

연구 질문

• RQ1 깊이 정보를 CNN과 CRF 단계 양쪽에 통합하는 것이 한 단계에만 통합하는 것보다 더 나은 세분화 성능을 낼 수 있는가?
• RQ2 DFCN에 깊이를 통합하는 것은 RGB 전용 네트워크에 비해 특징 표현에 어떤 영향을 미치는가?
• RQ3 깊이 민감 CRF는 색상이 유사한 물체가 있는 실내 장면에서 경계 예측을 향상시킬 수 있는가?
• RQ4 전반적인 성능 향상에 있어 DFCN에서의 깊이 통합과 DCRF에서의 깊이 통합 중 어느 쪽이 더 큰 기여를 하는가?

주요 결과

• DFCN-DCRF 모델은 SUN RGB-D 벤치마크에서 39.3%의 평균 IoU를 기록하여 이전 최고 성능 기록인 FuseNet-SF5를 능가한다.
• DFCN에 깊이를 통합하기만 해도 성능 향상이 뚜렷하게 나타나며(38.0% IoU), 이는 초기 융합이 특징 학습을 향상시킨다는 것을 시사한다.
• DFCN에 깊이를 통합하지 않고 DCRF에만 깊이를 통합하는 경우 성능 향상이 미미하다(34.4% IoU), 이는 깊이 정보를 후처리 단계에서만 사용할 경우 유의미한 이점이 없다는 것을 의미한다.
• DFCN과 DCRF 양쪽에 깊이를 통합할 경우 최고의 성능(39.3% IoU)을 기록하여, 초기 융합과 후속 융합 간의 상호보완적 작용을 확인한다.
• DFCN-DCRF 모델은 RGB 전용 DFCN에 CRF를 적용한 경우보다 평균 정확도를 1.9%p 향상시켜 이중 단계 깊이 통합의 효과를 입증한다.
• 시각화 결과 DFCN-DCRF는 특히 RGB 색상이 유사하지만 깊이 구조가 다른 물체의 경계를 더 선명하게 생성함을 보여준다.