[논문 리뷰] Semantic Pose using Deep Networks Trained on Synthetic RGB-D

Jérémie Papon, Markus Schoeler|arXiv (Cornell University)|2015. 08. 04.

Advanced Vision and Imaging참고 문헌 6인용 수 25

한 줄 요약

이 논문은 합성으로 생성된 RGB-D 장면에서 훈련된 딥 컨volution 신경망(CNN)을 제안하여 혼잡한 실내 환경에서 객체 클래스, 3D 자세, 위치를 동시에 예측한다. 실시간으로 생성되는 합성 데이터와 실제 RGB-D 데이터에 대한 전이 학습을 활용함으로써, 모델은 의미적 자세 추정 분야에서 최신 기술 수준의 성능을 달성하며, 훈련에 포함되지 않은 새로운 가구 모델에 대해서도 일반화 가능하고, GPU에서 한 장면에 대해 수 초 내로 작동한다.

ABSTRACT

In this work we address the problem of indoor scene understanding from RGB-D images. Specifically, we propose to find instances of common furniture classes, their spatial extent, and their pose with respect to generalized class models. To accomplish this, we use a deep, wide, multi-output convolutional neural network (CNN) that predicts class, pose, and location of possible objects simultaneously. To overcome the lack of large annotated RGB-D training sets (especially those with pose), we use an on-the-fly rendering pipeline that generates realistic cluttered room scenes in parallel to training. We then perform transfer learning on the relatively small amount of publicly available annotated RGB-D data, and find that our model is able to successfully annotate even highly challenging real scenes. Importantly, our trained network is able to understand noisy and sparse observations of highly cluttered scenes with a remarkable degree of accuracy, inferring class and pose from a very limited set of cues. Additionally, our neural network is only moderately deep and computes class, pose and position in tandem, so the overall run-time is significantly faster than existing methods, estimating all output parameters simultaneously in parallel on a GPU in seconds.

연구 동기 및 목표

• RGB-D 데이터를 활용해 혼잡한 실내 장면의 강력한 의미적 이해를 가능하게 하기 위해.
• 자세 레이블이 포함된 대규모 애너테이션된 RGB-D 데이터셋의 부족 문제를 해결하기 위해.
• 객체 클래스, 3D 자세, 공간적 위치를 동시에 예측하는 단일 딥 CNN을 개발하기 위해.
• 훈련 데이터에 존재하지 않는 새로운 가구 모델에 대해 제로샷 일반화를 가능하게 하기 위해.
• 합성 데이터에서의 전이 학습을 통해 실제 RGB-D 데이터에 대해 실시간 추론을 구현하기 위해.

제안 방법

• 랜덤 객체 배치가 적용된 합성 렌더링된 RGB-D 장면에서 끝에서 끝까지 훈련되는 넓은 다중출력 CNN을 사용한다.
• 훈련 중 CPU 및 보조 GPU를 활용해 실시간으로 프로시저럴 렌더링 파이프라인을 통해 합성 훈련 데이터를 생성한다.
• 클래스 예측을 다시 자세 및 위치 브랜치로 재조합함으로써 공동 추정 정확도를 향상시킨다.
• 검출 출력을 의미적 히트맵과 자세에 맞춘 3D 모델로 통합하기 위해 비최대 억제(NMS) 및 픽셀별 최대 풀링을 적용한다.
• 합성 데이터에서 훈련된 모델을 실제 모odal로 적응시키기 위해 소량의 실제 애너테이션된 RGB-D 이미지를 사용해 전이 학습을 수행한다.
• 자세 추정은 각도 구간에 대한 소프트맥스 히스토그램을 사용하며, 피크 주변의 보간을 통해 연속적인 자세 예측을 정밀화한다.

실험 결과

연구 질문

• RQ1 합성 RGB-D 데이터로만 훈련된 딥 CNN이 복잡한 혼잡도를 띤 실제 실내 장면으로 일반화 가능한가?
• RQ2 이러한 모델은 훈련 데이터에 포함되지 않은 가구 모델에 대해서도 객체 클래스, 3D 자세, 공간 범위를 고정밀도로 동시에 예측할 수 있는가?
• RQ3 합성 데이터에서 실제 RGB-D 데이터로의 전이 학습은 의미적 자세 추정에 얼마나 효과적인가?
• RQ4 모델은 단일 GPU에서 높은 정확도를 유지하면서 도전적인 장면에서 실시간 추론을 수행할 수 있는가?
• RQ5 2D RGB 전용 접근 방식에 비해 3D 기하학적 특징(노멀)을 통합하면 혼잡한 환경에서 성능 향상이 이루어지는가?

주요 결과

• 모델은 NYUv2 데이터셋에서 자세 추정 분야에서 최신 기술 수준의 성능를 달성했으며, 침대, 의자, 책상, 소파, 테이블 등 5개 클래스에서 이전 연구를 뛰어넘었다.
• 훈련 세트에 포함되지 않은 테스트용 의자에 대해서도 정확한 자세 추정이 가능함으로써, 훈련에 포함되지 않은 가구 모델에 대한 일반화 능력이 입증되었다.
• 자세 추정 정확도는 15° 이내 오차에서 정규화된 곡선 아래 면적(AUC)으로 측정되었으며, 두 개의 클래스에서 이전 최고 성능(SOTA) 방법보다 높은 AUC를 기록했다.
• 네트워크는 전체 장면을 단일 전방 전파(forward pass)로 처리하여 GPU에서 모든 출력(클래스, 자세, 위치)을 수초 내로 생성한다.
• 소량의 실제 애너테이션 데이터만을 사용한 전이 학습이 도메인 갭에도 불구하고 실제 장면에서의 성능 향상에 크게 기여했다.
• 시스템은 신뢰할 수 있는 의미적 히트맵과 정확하게 배치된 일반화된 3D 모델을 생성하여, 실제 관측에서 노이즈와 희소성에 대한 강건성을 입증했다.