[논문 리뷰] SymmetryNet: Learning to Predict Reflectional and Rotational Symmetries of 3D Shapes from Single-View RGB-D Images

Yifei Shi, Junwen Huang외 4명|arXiv (Cornell University)|2020. 08. 02.

Optical measurement and interference techniques참고 문헌 53인용 수 10

한 줄 요약

SymmetryNet는 단일 뷰 RGB-D 이미지에서 반사 대칭과 회전 대칭을 동시에 예측하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 다중 작업 학습을 통해 대칭 축과 대칭 점 대응 관계를 동시에 예측하며, 동일한 예측 대상에 대한 통합된 감독 신호와 시야 가시성 인식 통합 기법을 활용하여, 부족한 데이터나 부분적 가림 상태에서도 높은 정확도와 일반화 성능을 달성한다.

ABSTRACT

We study the problem of symmetry detection of 3D shapes from single-view RGB-D images, where severely missing data renders geometric detection approach infeasible. We propose an end-to-end deep neural network which is able to predict both reflectional and rotational symmetries of 3D objects present in the input RGB-D image. Directly training a deep model for symmetry prediction, however, can quickly run into the issue of overfitting. We adopt a multi-task learning approach. Aside from symmetry axis prediction, our network is also trained to predict symmetry correspondences. In particular, given the 3D points present in the RGB-D image, our network outputs for each 3D point its symmetric counterpart corresponding to a specific predicted symmetry. In addition, our network is able to detect for a given shape multiple symmetries of different types. We also contribute a benchmark of 3D symmetry detection based on single-view RGB-D images. Extensive evaluation on the benchmark demonstrates the strong generalization ability of our method, in terms of high accuracy of both symmetry axis prediction and counterpart estimation. In particular, our method is robust in handling unseen object instances with large variation in shape, multi-symmetry composition, as well as novel object categories.

연구 동기 및 목표

• 단일 뷰 RGB-D 이미지에서 부분적으로 관찰되거나 가려진 3D 형상의 3D 대칭을 탐지하는 문제를 해결하기 위해 기하학적 방법이 누락된 데이터로 인해 실패하는 상황을 대비한다.
• 다양한 물체 카테고리, 형상 변형, 다중 대칭 조합에 걸쳐 일반화 가능한 데이터 기반 딥 러닝 접근법을 개발한다.
• 대칭 축 예측과 대칭 점 대응 관계 추정을 함께 학습하여 대칭 탐지의 강건성을 향상시킨다.
• 표준화된 평가를 가능하게 하기 위해 단일 뷰 RGB-D 대칭 탐지용 벤치마크 데이터셋을 구축한다.
• 6D 물체 자세 추정 및 대칭 인식 기반 RGB-D 세그멘테이션과 같은 후속 응용을 가능하게 한다.

제안 방법

• 네트워크는 RGB 및 깊이 이미지를 입력으로 받아 공유 백본을 통해 점별 외관 및 기하 특징을 추출한다.
• 다중 작업 학습을 통해 점군 내 각 3D 점에 대해 반사 대칭과 회전 대칭 축을 동시에 예측한다.
• 대응 관계 예측을 위해, 네트워크는 각 점이 대칭 상대점일 가능성을 나타내는 히트맵과 직접적으로 대칭 상대점의 3D 좌표를 회귀 예측한다.
• 정답 대칭 상대점 위치 기반의 통합된 감독 신호를 사용하여 두 작업 간의 상관관계를 유도하고 과적합을 줄인다.
• 최적의 할당 모듈을 통해 다수의 후보 대칭 중 최적의 조합을 선택함으로써, 다양한 유형의 대칭을 임의의 수로 탐지할 수 있다.
• 가시성 기반 검증을 적용하여 시야 제약과 가림 상태에 기반해 유효하지 않은 예측을 걸러낸다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 누락된 데이터가 있는 단일 뷰 RGB-D 이미지에서 3D 형상의 반사 대칭과 회전 대칭을 효과적으로 탐지할 수 있는가?
• RQ2 대칭 대응 관계 예측을 포함한 다중 작업 학습은 대칭 탐지에서 일반화 성능 향상과 과적합 감소에 어떻게 기여하는가?
• RQ3 모델은 동일한 물체에서 서로 다른 유형의 대칭(예: 반사와 회전)을 부분적으로 가려진 상태에서도 탐지할 수 있는가?
• RQ4 학습 데이터에 포함되지 않은 새로운 물체 카테고리와 새로운 형상 변형에 대해 모델의 성능은 어떠한가?
• RQ5 대칭 예측은 6D 물체 자세 추정 및 RGB-D 세그멘테이션과 같은 후속 작업에 얼마나 기여하는가?

주요 결과

• 크고 다양한 형상 변형이 있는 물체나 부분 관찰 조건에서도 대칭 축 예측과 대칭 상대점 추정에 높은 정확도를 달성한다.
• SymmetryNet는 새로운 물체 카테고리와 새로운 인스턴스에 대해 잘 일반화되며, 실제 및 시뮬레이션 환경 모두에서 강력한 강건성을 보여준다.
• 대칭 축과 대응 관계를 함께 예측하는 다중 작업 학습 설정은 직접적인 대칭 예측에 비해 과적합을 크게 감소시킨다.
• DenseFusion에서 대칭 예측을 포함함으로써 6D 물체 자세 추정 성능이 향상되어 실제 응용에서 실용성을 입증한다.
• 학습 시 세그멘테이션 레이블 없이도 점별 대칭 레이블을 입력 이미지에 투영함으로써 대칭 유도 RGB-D 세그멘테이션을 가능하게 한다.
• 정성적 비교 결과, 복잡하거나 가려진 형상에서 기하학적 피팅, RGB-D 검색, PRS-Net, 형상 보완 기반 기준 모델들과 비교해 SymmetryNet가 뛰어난 성능을 보인다.