[논문 리뷰] RGB-D Scene Labeling with Long Short-Term Memorized Fusion Model.

Zhen Li, Yukang Gan외 4명|arXiv (Cornell University)|2016. 04. 18.

Advanced Vision and Imaging참고 문헌 25인용 수 12

한 줄 요약

이 논문은 수직 방향의 공간적 의존성을 스택된 컨볼루션 및 LSTM 레이어를 통해 캡처함으로써 RGB 및 깊이 특징을 융합하는 Long Short-Term Memorized Fusion (LSTM-F) 모델을 제안한다. 이 모델은 채널 간에 이러한 맥락을 융합하고 이중 방향으로 전파하여 2차원 전체 전역 맥락을 확보한다. 이 방법은 SUNRGBD 데이터셋에서 평균 클래스 정확도 48.1%를 기록하여 이전 작업 대비 11.8% 향상되며, 새로운 최고 성능 기록을 달성한다.

ABSTRACT

Semantic labeling of RGB-D scenes is crucial to many intelligent applications including perceptual robotics. It generates pixelwise and fine-grained label maps from simultaneously sensed photometric (RGB) and depth channels. This paper addresses this problem by i) developing a novel Long Short-Term Memorized Fusion (LSTM-F) Model that captures and fuses contextual information from multiple channels of photometric and depth data, and ii) incorporating this model into deep convolutional neural networks (CNNs) for end-to-end training. Specifically, global contexts in photometric and depth channels are, respectively, captured by stacking several convolutional layers and a long short-term memory layer; the memory layer encodes both short-range and long-range spatial dependencies in an image along the vertical direction. Another long short-term memorized fusion layer is set up to integrate the contexts along the vertical direction from different channels, and perform bi-directional propagation of the fused vertical contexts along the horizontal direction to obtain true 2D global contexts. At last, the fused contextual representation is concatenated with the convolutional features extracted from the photometric channels in order to improve the accuracy of fine-scale semantic labeling. Our proposed model has set a new state of the art, i.e., 48.1% average class accuracy over 37 categories 11.8% improvement), on the large-scale SUNRGBD dataset.1

연구 동기 및 목표

• 광학적 및 깊이 데이터를 효과적으로 융합하여 RGB-D 장면의 의미적 레이블링 정확도를 향상시키기 위해.
• 반복 메모리 기반 기법을 사용하여 RGB 및 깊이 이미지의 근접 및 장거리 공간적 의존성을 모델링하기 위해.
• 다양한 모odal의 전역 맥락적 표현을 통합하여 미세한 픽셀 수준의 레이블링을 위한 통합된 특징 공간에 통합하기 위해.
• 제안된 융합 기법을 포함한 딥 신경망의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 대규모 RGB-D 장면 이해 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 스택된 컨볼루션 레이어와 수직 방향의 LSTM 레이어를 사용하여 RGB 및 깊이 채널의 전역 공간적 맥락을 캡처하는 Long Short-Term Memorized Fusion (LSTM-F) 모델을 설계하였다.
• LSTM 레이어는 각 모달의 특징 맵의 수직 방향에서 근접 및 장거리 공간적 의존성을 인코딩한다.
• 두 번째 LSTM-F 레이어는 RGB 및 깊이 모달의 수직 맥락적 표현을 수직 축을 따라 융합한다.
• 융합된 수직 맥락을 수평 방향으로 이중 방향 전파를 적용하여 진정한 2차원 전체 전역 맥락을 캡처한다.
• 최종 융합된 맥락적 표현은 원본 광학적 컨볼루션 특징과 연결되어 미세한 스케일의 의미적 레이블링을 향상시킨다.
• 전체 네트워크는 제안된 LSTM-F 융합 모듈을 포함한 딥 CNN 프레임워크를 사용하여 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 반복 메모리 기반 기법이 RGB-D 장면 레이블링에서 장거리 공간적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 LSTM 기반 융합 레이어를 사용하여 RGB 및 깊이 모달의 맥락적 특징을 융합하면 의미적 세그멘테이션 정확도가 어떻게 향상되는가?
• RQ3 수평 방향으로 융합된 수직 맥락을 이중 방향으로 전파하면 진정한 2차원 전체 전역 맥락을 복원할 수 있는가?
• RQ4 학습된 전역 맥락을 국소 컨볼루션 특징과 통합하면 미세한 의미적 레이블링 성능이 향상되는가?
• RQ5 제안된 LSTM-F 융합 모델은 대규모 RGB-D 데이터셋에서 기존 최고 성능 기법 대비 어떤 성능 향상을 달성할 수 있는가?

주요 결과

• 제안된 LSTM-F 모델은 37개 카테고리에 걸쳐 평균 클래스 정확도 48.1%를 기록하여 SUNRGBD 데이터셋에서 새로운 최고 성능을 달성하였다.
• 기존 최고 성능 기법 대비 평균 클래스 정확도에서 11.8% 향상된 유의미한 성능 향상을 보였다.
• 이중 방향 LSTM 융합 통합은 전체 2차원 전역 맥락의 효과적인 모델링을 가능하게 하여 의미적 레이블링을 위한 특징 표현을 향상시켰다.
• 장단기 기억 레이어의 사용은 RGB 및 깊이 특징의 수직 방향에서 근접 및 장거리 공간적 의존성을 효과적으로 캡처하였다.
• 융합된 전역 맥락을 국소 컨볼루션 특징과 연결함으로써 더 정확하고 미세한 픽셀 수준의 예측이 가능해졌다.
• 엔드 투 엔드 학습 전략은 최적의 특징 학습과 융합을 보장하여 모델의 뛰어난 성능에 기여하였다.