[논문 리뷰] Pixels, voxels, and views: A study of shape representations for single view 3D object shape prediction

Daeyun Shin, Charless C. Fowlkes외 1명|arXiv (Cornell University)|2018. 04. 17.

3D Shape Modeling and Analysis참고 문헌 21인용 수 13

한 줄 요약

이 논문은 단일 이미지 3D 형상 예측에서 체적(바이트) 및 표면 기반(다중 깊이 맵) 3D 형상 표현 방식과 시야 중심 및 물체 중심 좌표 프레임을 비교하기 위한 통합 인코더-디코더 프레임워크를 제안한다. 연구 결과, 신규 카테고리에 대해 표면 기반 표현 방식이 바이트 표현 방식을 능가하며, 시야 중심 예측은 새로운 물체로의 일반화 성능이 더 뛰어나지만, 물체 중심 예측은 카테고리 인식에 더 의존한다.

ABSTRACT

The goal of this paper is to compare surface-based and volumetric 3D object shape representations, as well as viewer-centered and object-centered reference frames for single-view 3D shape prediction. We propose a new algorithm for predicting depth maps from multiple viewpoints, with a single depth or RGB image as input. By modifying the network and the way models are evaluated, we can directly compare the merits of voxels vs. surfaces and viewer-centered vs. object-centered for familiar vs. unfamiliar objects, as predicted from RGB or depth images. Among our findings, we show that surface-based methods outperform voxel representations for objects from novel classes and produce higher resolution outputs. We also find that using viewer-centered coordinates is advantageous for novel objects, while object-centered representations are better for more familiar objects. Interestingly, the coordinate frame significantly affects the shape representation learned, with object-centered placing more importance on implicitly recognizing the object category and viewer-centered producing shape representations with less dependence on category recognition.

연구 동기 및 목표

• 형상 표현 방식(체적 대비 표면 기반)과 좌표 프레임(시야 중심 대비 물체 중심)이 단일 시야 3D 형상 예측에 미치는 영향을 체계적으로 평가하는 것.
• 물체에 대한 익숙함 수준(기존 인스턴스에서 새로운 카테고리까지)이 다양한 표현 및 좌표 선택에 따라 성능에 미치는 영향을 조사하는 것.
• RGB 이미지 대비 깊이 이미지를 입력으로 사용했을 때, 특히 새로운 물체 카테고리와 새로운 시점에 대해 모델의 일반화 능력을 평가하는 것.
• 좌표 프레임 선택이 네트워크 인코더가 학습하는 특징 임베딩에 미치는 영향, 특히 물체 분류와의 관련성 측면에서 탐구하는 것.

제안 방법

• 모든 실험에 동일한 공통 인코더-디코더 아키텍처를 사용하며, 디코더는 3D 바이트 또는 다양한 시점에서의 다중 깊이 맵을 예측하도록 수정된다.
• 표면 기반 예측의 경우, 모델은 입력 이미지 기준으로 여러 시점에서 실루엣 및 깊이 맵을 생성하고, 이를 국소적으로 정렬하여 융합하여 표면 재구성용 포인트 클라우드로 변환한다.
• 좌표 프레임은 학습 및 평가 시 사용되는 기준 기준계에 의해 제어된다: 시야 중심은 입력 이미지의 시점 기준이며, 물체 중심은 캐논리컬한, 카테고리에 맞춰진 자세 기준이다.
• 성능 평가에는 체적 IoU와 표면 기반 Chamfer 거리 모두를 사용하여 다양한 최종 표현 방식에서의 성능을 평가한다.
• 네트워크는 RGB 및 깊이 이미지를 입력으로 사용하여 학습 및 평가되며, 각각 기존 인스턴스, 기존 인스턴스의 새로운 시점, 새로운 카테고리에 대해 별도의 메트릭을 적용한다.
• 시야 중심 모델의 4096차원 특징 임베딩에 대해 분류기를 학습시켜, 물체 인식에 대한 유용성을 평가한다.

실험 결과

연구 질문

• RQ1 특히 새로운 물체 카테고리에 대해, 표면 기반 표현 방식(다중 깊이 맵)이 체적 표현 방식(바이트)보다 단일 이미지에서 3D 형상을 예측하는 데 더 우수한가?
• RQ2 새로운 물체와 새로운 시점으로의 일반화에 있어, 시야 중심 좌표 예측이 물체 중심 예측보다 더 효과적인가?
• RQ3 좌표 프레임 선택이 형상 예측 과정에서 네트워크가 물체 카테고리 인식에 얼마나 의존하는지에 영향을 미치는가?
• RQ4 입력으로 RGB 또는 깊이 이미지를 사용할 경우, 표면 기반 표현 방식과 체적 표현 방식 간의 성능 격차에 영향을 미치는가?
• RQ5 시야 중심 좌표에서의 형상 예측은 종래의 엔드 투 엔드 카테고리 분류보다 후속 물체 인식 작업에 더 나은 특징을 제공하는가?

주요 결과

• 표면 기반 표현 방식은 평가 메트릭에 관계없이 새로운 물체 카테고리에 대해 바이트 표현 방식을 뚜렷이 능가한다. 이는 고해상도 형상 세부 정보를 더 압축적이고 효율적으로 인코딩하기 때문이다.
• 시야 중심 좌표 예측은 새로운 물체와 새로운 시점으로의 일반화 성능이 더 뛰어나지만, 물체 중심 예측은 기존 인스턴스 및 익숙한 물체의 새로운 시점에 대해 더 우수한 성능을 보인다.
• 물체 중심 모델은 물체 카테고리 인식에 더 의존하며, 잘못된 카테고리에 대해 납득할 수 있는 그러나 잘못된 형상을 생성하는 경향이 있다. 반면 시야 중심 모델은 카테고리 수준의 오류를 더 적게 범한다.
• 좌표 프레임 선택은 네트워크 인코더가 학습하는 특징의 본질을 근본적으로 변화시킨다. 시야 중심 표현은 자세 인식 특징을 학습하고, 물체 중심 표현은 카테고리 인식 특징을 학습한다.
• 시야 중심 모델의 특징 임베딩에 기반한 분류기는 동일한 데이터로 엔드 투 엔드로 학습된 ResNet 분류기보다 1% 높은 정확도를 달성하여, 물체 인식에 대해 강력한 분류 능력을 지닌다.
• 비록 정량적 정밀도가 높은 편이지만, 시야 중심 예측은 종종 자세 정렬 오류(15–20도 오차)를 겪어, 형상 품질이 높더라도 정량적 점수에 악영향을 줄 수 있다.