[논문 리뷰] Deep Supervision with Intermediate Concepts

Chi Li, M. Zeeshan Zia외 4명|arXiv (Cornell University)|2018. 01. 08.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 2D/3D 키포인트 로컬라이제이션 및 이미지 분류에서 일반화 성능을 향상시키기 위해 컨volution 네트워크의 은닉층에 객체 자세, 부품 가시성과 같은 중간 개념을 통합하는 딥 서포비전 프레임워크인 DISCO를 제안한다. 레이블이 부여된 중간 개념을 가진 합성 CAD 렌더링 이미지로만 훈련함으로써, KITTI, PASCAL VOC, PASCAL3D+, IKEA, CIFAR100 등의 실세계 벤치마크에서 기존의 단일 작업 및 다중 작업 학습 기반선을 뛰어넘는 최신 기술 성능을 달성한다.

ABSTRACT

Recent data-driven approaches to scene interpretation predominantly pose inference as an end-to-end black-box mapping, commonly performed by a Convolutional Neural Network (CNN). However, decades of work on perceptual organization in both human and machine vision suggests that there are often intermediate representations that are intrinsic to an inference task, and which provide essential structure to improve generalization. In this work, we explore an approach for injecting prior domain structure into neural network training by supervising hidden layers of a CNN with intermediate concepts that normally are not observed in practice. We formulate a probabilistic framework which formalizes these notions and predicts improved generalization via this deep supervision method. One advantage of this approach is that we are able to train only from synthetic CAD renderings of cluttered scenes, where concept values can be extracted, but apply the results to real images. Our implementation achieves the state-of-the-art performance of 2D/3D keypoint localization and image classification on real image benchmarks, including KITTI, PASCAL VOC, PASCAL3D+, IKEA, and CIFAR100. We provide additional evidence that our approach outperforms alternative forms of supervision, such as multi-task networks.

연구 동기 및 목표

• 실세계 데이터셋에서 3D 애너테이션의 부족을 보완하기 위해, 구조화된 중간 개념을 가진 합성 데이터를 활용한다.
• 인간의 시각적 추론에 영감을 얻어, 중간 개념을 통한 인지적 구조의 임베딩을 통해 딥 러닝의 일반화 성능을 향상시킨다.
• 표준 엔드 투 엔드 훈련 및 다중 작업 학습을 능가하는 일반적인 딥 서포비전 프레임워크를 개발한다.
• 오직 합성 훈련 데이터만을 사용하여, 가림 및 내부 클래스 변동성 하에서 안정적인 3D 기하학 추정을 가능하게 한다.
• 세부 이미지 분류로의 확장을 통해, 3D 구조 예측을 넘어서 보다 광범위한 적용 가능성을 입증한다.

제안 방법

• 중간 개념을 계층적이고 작업에 관련된 감독 신호로 형식화하는 확률적 프레임워크를 도입하여 특징 학습을 정규화한다.
• 객체 자세나 부품 가시성과 같은 서로 다른 중간 개념을 각각 목표로 하는 다수의 감독 헤드를 갖는 새로운 CNN 아키텍처인 DISCO를 설계한다.
• 부분 시야의 모호성과 같은 실세계 과제에 대한 강건성을 확보하기 위해, 제어된 가림을 가진 3D CAD 모델에서 합성 훈련 데이터를 생성한다.
• 다양한 층에서 중간 개념의 감독을 통합하는 다중 작업 손실을 사용하여, 구조적인 특징 학습을 장려한다.
• 중간 단계에서의 2D 키포인트 예측에 의존하지 않고, 직접적으로 3D 구조로 회귀함으로써 오차 전파를 줄인다.
• 세부 분류를 향상시키기 위해 중간 개념으로서 근사한 클래스 레이블을 사용함으로써, 이미지 분류로의 일반화를 달성한다.

실험 결과

연구 질문

• RQ1 합성 데이터로만 훈련할 경우, 중간 개념을 통한 딥 서포비전이 3D 객체 기하학 추정의 일반화 성능을 향상시킬 수 있는가?
• RQ2 엔드 투 엔드 훈련 및 다중 작업 학습 대비 중간 개념을 통한 딥 서포비전의 성능 및 강건성은 어떻게 비교되는가?
• RQ3 객체 자세 및 부품 가시성과 같은 중간 개념이 가림 및 내부 클래스 변동성 하에서 3D 키포인트 로컬라이제이션 성능을 향상시킬 수 있는가?
• RQ4 중간 개념의 사용이 CIFAR100과 같은 벤치마크에서 세부 이미지 분류 성능을 향상시키는가?
• RQ5 이 프레임워크는 단일 모델에서 여러 객체 클래스의 3D 기하학을 동시에 모델링할 수 있는가?

주요 결과

• DISCO는 KITTI-3D, PASCAL VOC, PASCAL3D+, IKEA 등 여러 벤치마크에서 2D/3D 키포인트 로컬라이제이션 분야에서 최신 기술 성능을 달성하며, 합성 CAD 렌더링 이미지로만 훈련된 경우에도 성능을 유지한다.
• 특히 가림 및 잘림 상황에서 단일 작업 및 다중 작업 학습 기반선을 크게 능가하며, 중간 개념 감독의 효과성을 입증한다.
• CIFAR100 데이터셋에서 근사한 클래스 레이블을 중간 개념으로 사용함으로써 세부 인식 성능이 향상되었으며, 이는 접근 방식의 광범위한 적용 가능성을 검증한다.
• 정성적 결과는 DISCO가 복잡한 다중 객체 가림 상황에서도 정확하게 3D 객체 스켈레톤, 가시성 상태 및 인스턴스 세그멘테이션을 예측함을 보여준다.
• IKEA 데이터셋에서 DISCO는 3D-INN을 능가하며 기울어진 시트백과 팔걸이와 같은 구조적 세부 사항을 정확히 포착하고, 침대 다리의 스케일 추정도 더 정확하게 제공한다.
• 침대 및 소파와 같은 새로운 객체 카테고리로의 일반화 성능을 보이며, 3D 시나리오 이해를 위한 일반적인 방법으로서의 잠재력을 보여준다.