[논문 리뷰] Compositionally Generalizable 3D Structure Prediction

Songfang Han, Jiayuan Gu외 5명|arXiv (Cornell University)|2020. 12. 04.

3D Shape Modeling and Analysis참고 문헌 55인용 수 7

한 줄 요약

이 논문은 단일 이미지 3D 형상 재구성에 대한 구성적 일반화 프레임워크를 제안하며, 모듈러한 신경망을 사용하여 작업을 하위 문제들—부분 분할, 방향 예측, 크기 예측, 상대적 위치 조립—으로 분해한다. 다양한 물체 카테고리 간 공유되는 하위 구조(예: 부분, 대칭성, 접합부)를 모델링함으로써, 침대, 테이블, 캐비닛과 같은 새로운 카테고리에 대해 우수한 일반화 성능을 달성하며, PartNet에서 최신 기술 수준의 성능을 기록한다. GenRe [62]보다 정량적·정성적 평가에서 모두 뛰어난 성능을 보였다.

ABSTRACT

Single-image 3D shape reconstruction is an important and long-standing problem in computer vision. A plethora of existing works is constantly pushing the state-of-the-art performance in the deep learning era. However, there remains a much more difficult and under-explored issue on how to generalize the learned skills over unseen object categories that have very different shape geometry distributions. In this paper, we bring in the concept of compositional generalizability and propose a novel framework that could better generalize to these unseen categories. We factorize the 3D shape reconstruction problem into proper sub-problems, each of which is tackled by a carefully designed neural sub-module with generalizability concerns. The intuition behind our formulation is that object parts (slates and cylindrical parts), their relationships (adjacency and translation symmetry), and shape substructures (T-junctions and a symmetric group of parts) are mostly shared across object categories, even though object geometries may look very different (e.g. chairs and cabinets). Experiments on PartNet show that we achieve superior performance than state-of-the-art. This validates our problem factorization and network designs.

연구 동기 및 목표

• 매우 다른 기하학적 분포를 가진 새로운 물체 카테고리에 대해 3D 형상 재구성을 효과적으로 일반화하는 데 도전한다.
• 기존 방법이 훈련 및 테스트 카테고리가 유사하다는 가정을 하는 데서 벗어나, 더 넓은 범주 간 일반화를 향상시킨다.
• 다양한 물체 카테고리 간 공통되는 하위 구조 사전 지식—예: 부분 유형, 대칭성, 접합부—을 활용하여 일반화 능력을 향상시킨다.
• 지역적 맥락 학습이 가능한 해석 가능하고 이식 가능한 하위 문제들로 나누어진 모듈러한 신경망 프레임워크를 설계한다.

제안 방법

• 3D 형상 재구성을 네 가지 하위 문제로 분해한다: 부분 분할, 부분 방향 예측, 군 기반 크기 예측, 상대적 위치 조립.
• 부분을 방향성 경계 상자로 표현하여 연결성, 방향, 크기를 구조적 사전 지식으로 코딩한다.
• 회전 불확실성과 대칭성을 다루기 위해 순서에 무관한 믹스처 오브 엑스퍼트(MoE) 네트워크를 사용하여 방향 예측을 수행한다.
• 군 기반 특징 집약을 통해 크기 예측을 구현하며, 부분 간 이동 대칭성을 활용하여 시각 왜곡에 대한 강건성을 향상시킨다.
• 절대 좌표가 아닌 부분 간 상대적 위치를 예측함으로써 척도 및 이동에 대한 민감도를 감소시킨다.
• 부분 마스크를 명시적 어텐션 맵으로 사용하여 특징 학습 중 국소 구조에 집중한다.

실험 결과

연구 질문

• RQ1 전혀 새로운 카테고리의 물체에 대해, 전반적인 기하학적 구조가 크게 다를 경우 3D 형상 재구성이 효과적으로 일반화될 수 있는가?
• RQ2 공통되는 하위 구조 사전 지식—예: 부분 유형, 대칭성, 접합부—은 종합적인 3D 예측보다 더 나은 범주 간 일반화를 가능하게 하는가?
• RQ3 재구성 작업을 하위 문제들로 모듈러하게 분해하는 것이 직접적인 3D 형상 또는 깊이 맵 예측보다 더 일반화 능력이 뛰어난가?
• RQ4 군 기반 크기 예측은 시각 왜곡과 제한된 지도 신호에 대해 어떻게 강건성을 향상시키는가?
• RQ5 일반화성과 정확도 측면에서 상대적 위치 예측이 절대 위치 예측을 능가하는가?

주요 결과

• 제안된 방법은 의자에 대해 평균 카프먼 거리(EMD) 0.032, 테이블에 대해 0.053, 캐비닛에 대해 0.053, 침대에 대해 0.041를 기록하며, GenRe [62]가 각각 0.056, 0.099, 0.081, 0.075를 기록한 것보다 유의미하게 뛰어난 성능을 보였다.
• 방향 예측을 위한 MoE-MinN-MSE 손실은 평균 지오데식 오차를 의자 7.11°, 테이블 10.31°, 캐비닛 3.42°, 침대 6.43°로 감소시켜 MSE 및 사전 기반 기준 모델을 모두 능가했다.
• 군 기반 크기 예측은 단일 크기 예측 대비 의자에서 L1 거리 0.004, 테이블에서 0.019, 캐비닛에서 0.008, 침대에서 0.006 감소시켰다.
• 상대적 위치 예측은 의자에서 L1 거리 0.023, 테이블에서 0.038, 캐비닛에서 0.045, 침대에서 0.042를 기록하며 절대 위치 예측(0.035, 0.080, 0.082, 0.067)을 모두 능가했다.
• Pix3D 및 인터넷에서 확보한 실세계 이미지에 대한 정성적 결과는 합성 데이터로만 훈련된 후에도 강건한 재구성을 보여주며, 실세계 입력으로의 일반화 능력을 확인한다.
• GenRe [62]와의 시각적 비교에서 GenRe의 결과는 입력 시점에서는 타당해 보이지만, 다른 시점에서의 3D 재구성은 정확도가 떨어지는 것으로 나타나, 제안된 방법의 구조적 정확성 우수성을 확인한다.