[논문 리뷰] Cerberus: A Multi-headed Derenderer

Boyang Deng, Simon Kornblith외 1명|arXiv (Cornell University)|2019. 05. 28.

Human Pose and Action Recognition참고 문헌 44인용 수 6

한 줄 요약

Cerberus는 부분 애너테이션 없이 시점과 자세 변화에 대해 기하학적 불변성을 강제하여 단일 이미지에서 3D 관절 구조를 가진 물체를 재구성하는 다중 헤드 디렌더러를 제안한다. 이는 미분 가능한 3D 렌더러와 새로운 훈련 전략을 사용하여 의미 있는 이식 가능한 부분을 발견하며, 인간 및 동물 데이터셋에서 이전 방법들을 능가하고 새로운 자세에 대해 높은 제로샷 일반화 성능을 보인다.

ABSTRACT

To generalize to novel visual scenes with new viewpoints and new object poses, a visual system needs representations of the shapes of the parts of an object that are invariant to changes in viewpoint or pose. 3D graphics representations disentangle visual factors such as viewpoints and lighting from object structure in a natural way. It is possible to learn to invert the process that converts 3D graphics representations into 2D images, provided the 3D graphics representations are available as labels. When only the unlabeled images are available, however, learning to derender is much harder. We consider a simple model which is just a set of free floating parts. Each part has its own relation to the camera and its own triangular mesh which can be deformed to model the shape of the part. At test time, a neural network looks at a single image and extracts the shapes of the parts and their relations to the camera. Each part can be viewed as one head of a multi-headed derenderer. During training, the extracted parts are used as input to a differentiable 3D renderer and the reconstruction error is backpropagated to train the neural net. We make the learning task easier by encouraging the deformations of the part meshes to be invariant to changes in viewpoint and invariant to the changes in the relative positions of the parts that occur when the pose of an articulated body changes. Cerberus, our multi-headed derenderer, outperforms previous methods for extracting 3D parts from single images without part annotations, and it does quite well at extracting natural parts of human figures.

연구 동기 및 목표

• 부분 수준의 감독 없이 단일 이미지에서 관절 구조를 가진 신체의 3D 부분 기반 표현을 학습하는 것.
• 형태, 자세, 시점 요소를 분리함으로써 새로운 시점, 조명, 자세에 대한 일반화를 향상시키는 것.
• 자기 주도적인 일致성 제약 조건을 통해 의미 있는 부분(예: 머리, 사지)을 발견하는 것.
• 동일 주제의 다양한 자세에 대해 부분 모델을 제로샷으로 이식할 수 있도록 하는 것.
• 자연적인 기하학적 불변성을 활용한 비지도 3D 인식을 위한 확장 가능한, 미분 가능한 프레임워크를 개발하는 것.

제안 방법

• Cerberus는 N개의 자유롭게 떠 있는 3D 부분을 예측하는 신경망을 사용하며, 각 부분은 개별 삼각형 메쉬와 카메라 기준 자세(회전 및 이동)를 가진다.
• 각 부분은 학습된 형태 매개변수에 의해 변형되며, 전체 3D 모델은 미분 가능한 3D 렌더러를 사용해 렌더링되어 픽셀 공간 재구성 오차를 계산한다.
• 모델은 새로운 일관성 제약 조건을 사용하여 훈련된다: 부분의 변형은 자세 변화 시에 불변해야 한다.
• 재구성 오차가 미분 가능한 렌더러를 통해 역전파되면서 네트워크는 엔드 투 엔드로 훈련된다.
• 핵심 혁신은 신체의 캐논리컬 자세에서 추출한 부분을 동일 주제의 다른 자세에 적용하여 이식 가능성 테스트를 수행하는 아이덴티티 조건부 재구성 기법이다.
• 아키텍처는 객체 수준의 잠재 표현을 위해 글로벌 평균 풀링을 사용하는 U-Net 유사 인코더-디코더와 사원수 기반 자세 예측을 사용한다.

실험 결과

연구 질문

• RQ1 신경망은 부분 애너테이션이 전혀 없이 단일 이미지에서 의미 있는 3D 부분을 추출할 수 있는가?
• RQ2 시점과 자세 변화에 대한 기하학적 불변성이 부분 발견을 위한 강력한 자기주도 신호가 될 수 있는가?
• RQ3 자세 간 부분 형태의 일관성 제약을 강제하면 새로운 자세에 대한 일반화 성능이 향상되는가?
• RQ4 단일 메쉬 재구성 모델 대비 다중 헤드 디렌더러가 3D 재구성 및 부분 분할에서 더 나은 성능을 내는가?
• RQ5 한 이미지에서 추출한 단일 부분 세트가 동일 주제의 다른 자세를 재구성하는 데 얼마나 잘 이식될 수 있는가?

주요 결과

• Cerberus는 부분 애너테이션이 없이도 인간 및 동물 데이터셋에서 모든 베이스라인을 능가하는 3D 재구성 및 부분 분할 성능을 보였다.
• 어려운 'Hard Human' 벤치마크에서는 한 캐논리컬 자세에서 얻은 부분을 다른 자세에 이식하는 상황에서 Cerberus가 높은 성능 유지를 보였으며, 볼륨 IoU가 모든 베이스라인을 크게 상회했다.
• 제거 실험 결과, 자세 일관성 제약 조건을 제거하면 Hard Human 벤치마크에서 성능이 크게 떨어지며, 이는 이 제약 조건이 이식 가능한 부분을 학습하는 데 핵심적인 역할을 함을 확인한다.
• 자세 일관성 없이 학습한 Free Cerberus는 표준 평가에서는 더 높은 정확도를 달성하지만, 자세 간 일반화에 실패하여 종종 다리 부분을 하나의 부분으로 통합하는 경향을 보였고, 반면 Cerberus는 정확히 사지를 별개의 부분으로 분할하였다.
• Cerberus는 다양한 동물에서 일관되고 형태에 적합한 부분을 성공적으로 학습하였다: 예를 들어, 사슴의 날카로운 코에서부터 하마의 둥근 코로까지 부분의 머리 부분이 적절하게 적응하면서도 의미론적 일관성을 유지하였다.
• 새로운 시점, 조명 조건, 자세에 대해서도 잘 일반화되어, 재구성된 3D 모델에서 새로운 이미지를 렌더링하여 성능을 입증하였다.