[논문 리뷰] Deep Supervision with Shape Concepts for Occlusion-Aware 3D Object Parsing

Chi Li, M. Zeeshan Zia외 4명|arXiv (Cornell University)|2016. 12. 08.

Advanced Neural Network Applications참고 문헌 39인용 수 9

한 줄 요약

이 논문은 인위적 3D CAD 렌더링 데이터를 사용해 중간 레이어를 형태 개념(예: 자세, 관절 위치, 가시성 등)으로 깊이 감독하는 딥 컨volution 네트워크 프레임워크인 DISCO를 제안한다. 이를 통해 단일 RGB 이미지에서 정확한 2D/3D 의미적 파트 국소화 및 가림 현상 인식이 가능해지며, 실세계 벤치마크인 KITTI-3D, PASCAL VOC, PASCAL3D+, IKEA에서 최고 성능을 기록한다. 이는 사진적 사실성 렌더링 없이도 인위적 데이터에서 실데이터로의 일반화가 효과적으로 이루어짐을 보여준다.

ABSTRACT

Monocular 3D object parsing is highly desirable in various scenarios including occlusion reasoning and holistic scene interpretation. We present a deep convolutional neural network (CNN) architecture to localize semantic parts in 2D image and 3D space while inferring their visibility states, given a single RGB image. Our key insight is to exploit domain knowledge to regularize the network by deeply supervising its hidden layers, in order to sequentially infer intermediate concepts associated with the final task. To acquire training data in desired quantities with ground truth 3D shape and relevant concepts, we render 3D object CAD models to generate large-scale synthetic data and simulate challenging occlusion configurations between objects. We train the network only on synthetic data and demonstrate state-of-the-art performances on real image benchmarks including an extended version of KITTI, PASCAL VOC, PASCAL3D+ and IKEA for 2D and 3D keypoint localization and instance segmentation. The empirical results substantiate the utility of our deep supervision scheme by demonstrating effective transfer of knowledge from synthetic data to real images, resulting in less overfitting compared to standard end-to-end training.

연구 동기 및 목표

• 중간 형태 개념(예: 자세, 가시성 등)에 기반한 깊이 감독을 통해 가림 및 외관 변화 상황에서의 3D 객체 분할 성능 향상.
• 단일 RGB 이미지에서 2D/3D 의미적 파트 국소화 및 가시성 추론을 위한 강건한 방법 제공.
• 도메인 특화 형태 사전 지식을 활용해 인위적 데이터에서 실데이터로의 일반화를 향상시키고 과적합을 줄임.
• 중간 형태 개념(예: 자세, 가시성 등)이 딥 컨volution 네트워크에서 효과적인 감독 신호로 기능할 수 있음을 입증.
• 다양한 객체 카테고리 간 공동 3D 기하학적 구조 학습을 위한 일반화 가능한 프레임워크 수립.

제안 방법

• 이 방법은 객체 자세, 2D/3D 관절 위치, 파트 가시성 등의 중간 형태 개념을 사용해 다수의 컨volution 레이어를 깊이 감독하는 새로운 CNN 아키텍처인 DISCO를 활용한다.
• 객체의 구조를 모델링하기 위해 3D 스켈레톤 표현을 사용하며, 여기서 의미적 파트는 구조적 연결선으로 연결된 3D 관절로 정의된다.
• 가려짐 조건을 제어하여 렌더링한 3D CAD 모델을 통해 인위적 훈련 데이터를 생성함으로써 중간 개념에 대한 완전한 감독 가능.
• 모델은 인위적 데이터만으로 엔드 투 엔드로 훈련되며, 다양한 깊이에 감독 신호를 삽입해 계층적 특징 학습을 장려한다.
• 깊이 감독 프레임워크는 실 이미지로의 일반화가 뛰어나며, 단일 작업 및 상단 레이어 다중 작업 베이스라인을 모두 초월한다.
• 사진적 사실성 렌더링에 의존하지 않고 기하학적 및 구조적 일관성에 중점을 두어 강건한 일반화 달성.

실험 결과

연구 질문

• RQ1 중간 형태 개념에 기반한 깊이 감독이 가림 및 외관 변화 상황에서의 3D 객체 분할 성능 향상에 기여하는가?
• RQ2 풍부한 형태 개념 감독이 있는 인위적 데이터에서 훈련한 모델이 실세계 이미지로의 일반화에 효과적인가?
• RQ3 3D 분할을 위한 다중 작업 학습에서 중간 특징에 대한 깊이 감독이 상단 레이어 감독보다 어떻게 비교되는가?
• RQ4 명시적인 카테고리별 설계 없이도 단일 CNN이 다양한 객체 카테고리 간 3D 기하학적 구조를 공동으로 모델링할 수 있는가?
• RQ5 가시성, 자세 등의 형태 개념이 잘린 상태나 부분적 가림에 대한 강건성을 얼마나 향상시키는가?

주요 결과

• DISCO는 KITTI-3D, PASCAL VOC, PASCAL3D+, IKEA 등 다양한 벤치마크에서 2D 및 3D 관절 위치 국소화에서 최고 성능을 기록한다.
• IKEA 데이터셋에서 DISCO는 PCK@0.1 정확도에서 3D-INN을 크게 앞서며, 원시 이미지에서의 3D 구조 예측 능력이 뛰어나다는 것을 입증한다.
• 훈련 데이터에 사진적 사실성이 없음에도 불구하고 DISCO는 실 이미지로의 일반화가 효과적이며, 표준 엔드 투 엔드 훈련 대비 과적합이 감소한 것으로 나타났다.
• DISCO의 가시성 추론 능력은 대부분 정확하며, 복잡한 다중 객체 가림 상황에서도 가려진 파트를 정확히 식별한다.
• 정성적 결과에서는 DISCO가 심한 가림 및 잘림 상황에서도 2D/3D 관절 위치를 성공적으로 국소화하고 가시성을 예측하며, 3D-INN보다 더 정교한 구조(예: 팔걸이 등)를 잘 포착함을 보였다.
• 의자 클래스에서 평균 재현율 측면에서 DISCO는 3D-INN보다 뛰어난 성능을 보이며, 일부 잘못된 예측이 있더라도 더 정확한 3D 형태 추정이 가능함을 시사한다.