[논문 리뷰] SeqXY2SeqZ: Structure Learning for 3D Shapes by Sequentially Predicting 1D Occupancy Segments From 2D Coordinates

Zhizhong Han, Guanhui Qiao외 2명|arXiv (Cornell University)|2020. 03. 12.

3D Shape Modeling and Analysis참고 문헌 61인용 수 4

한 줄 요약

이 논문은 3D 볼륨 격자를 밀도 높은 3D 샘플링을 피하기 위해 제3축을 따라 2D 좌표를 1D 점유 세그먼트 시퀀스로 매핑하는 2D 함수로 표현하는 새로운 3D 형상 구조 학습 방법인 SeqXY2SeqZ를 제안한다. RNN 기반의 Seq2Seq 모델에 어텐션을 통합하여 O(R²) 복잡도를 가지며, 3D 암시 함수 방법 대비 메모리 사용량과 추론 시간을 크게 줄인 상태에서 최신 기술 수준의 재구성 성능를 달성한다.

ABSTRACT

Structure learning for 3D shapes is vital for 3D computer vision. State-of-the-art methods show promising results by representing shapes using implicit functions in 3D that are learned using discriminative neural networks. However, learning implicit functions requires dense and irregular sampling in 3D space, which also makes the sampling methods affect the accuracy of shape reconstruction during test. To avoid dense and irregular sampling in 3D, we propose to represent shapes using 2D functions, where the output of the function at each 2D location is a sequence of line segments inside the shape. Our approach leverages the power of functional representations, but without the disadvantage of 3D sampling. Specifically, we use a voxel tubelization to represent a voxel grid as a set of tubes along any one of the X, Y, or Z axes. Each tube can be indexed by its 2D coordinates on the plane spanned by the other two axes. We further simplify each tube into a sequence of occupancy segments. Each occupancy segment consists of successive voxels occupied by the shape, which leads to a simple representation of its 1D start and end location. Given the 2D coordinates of the tube and a shape feature as condition, this representation enables us to learn 3D shape structures by sequentially predicting the start and end locations of each occupancy segment in the tube. We implement this approach using a Seq2Seq model with attention, called SeqXY2SeqZ, which learns the mapping from a sequence of 2D coordinates along two arbitrary axes to a sequence of 1D locations along the third axis. SeqXY2SeqZ not only benefits from the regularity of voxel grids in training and testing, but also achieves high memory efficiency. Our experiments show that SeqXY2SeqZ outperforms the state-ofthe-art methods under widely used benchmarks.

연구 동기 및 목표

• 암시 함수 기반 3D 형상 재구성에서 발생하는 높은 계산 및 메모리 비용 문제를 해결하기 위해.
• 훈련 및 추론 과정에서 비정규적인 3D 샘플링을 제거하기 위해 구조화된 2D 함수 표현을 활용함으로써.
• 메모리 효율적이고 시퀀스 기반의 딥러닝 모델을 통해 효율적이고 고해상도의 3D 형상 재구성을 가능하게 하기 위해.
• 개선된 추론 속도와 낮은 메모리 사용량을 동반하면서도 3D 형상 재구성 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• X, Y, 또는 Z 축 중 어느 하나를 따라 3D 바이트 격자를 2D 평면 위의 좌표로 인덱싱된 1D 튜브 집합으로 표현한다.
• 각 튜브를 시작 및 종료 1D 바이트 위치로 정의된 점유 세그먼트의 시퀀스로 단순화한다.
• 양방향 RNN 인코더와 자동회귀 디코더를 갖춘 Seq2Seq 모델을 사용하여 2D 좌표와 형상 조건에서 1D 점유 세그먼트 시퀀스를 예측한다.
• 디코더가 시퀀스적 예측 과정에서 관련 있는 2D 좌표에 집중할 수 있도록 어텐션 메커니즘을 활용한다.
• 바이트 튜브라이제이션을 통해 입체적인 3D 복잡도를 2차원적 복잡도로 전환하여 효율적인 학습과 추론을 가능하게 한다.
• 형상 특징를 튜브 예측의 맥락으로 사용하여 3D 바이트 격자에서 자동에코딩 손실을 기반으로 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 밀도 높은 3D 샘플링을 피하기 위해 2D 좌표에서 1D 점유 세그먼트를 예측하는 방식으로 3D 형상 구조를 효과적으로 학습할 수 있는가?
• RQ2 바이트 격자를 2D 함수로 표현하여 1D 세그먼트 시퀀스로 매핑함으로써 메모리 효율성과 추론 속도가 향상되는가?
• RQ3 어 attention 기반 Seq2Seq 모델이 2D 좌표 입력에서 복잡한 3D 형상을 효과적으로 학습하고 재구성할 수 있는가?
• RQ4 제안된 방법은 3D 암시 함수 기반 모델 대비 재구성 품질, 메모리 사용량, 추론 시간 측면에서 어떻게 비교되는가?

주요 결과

• SeqXY2SeqZ는 널리 사용되는 벤치마크에서 기존 방법들을 능가하는 최신 기술 수준의 3D 형상 재구성 성능를 달성한다.
• 격자 해상도 R³에 대해 RNN 추론 단계가 O(R²)로 제한되어 있어 3D 암시 함수의 O(R³) 샘플링 대비 계산 복잡도가 크게 감소한다.
• R=64에서 재구성에 286MB의 RAM만 사용하여 DISN(>11GB)과 OccNet(1175MB)에 비해 뚜렷한 개선을 보였다.
• CPU에서 추론 시간이 8.79초로, 동일한 해상도에서 OccNet(55.80초)과 DISN(14.68초)를 모두 능가했다.
• 의자나 테이블과 같은 복잡한 형상을 재구성하는 데 2D 좌표당 평균 1~3개의 점유 세그먼트만으로도 충분한 성능를 보였다.
• 어텐션 시각화 결과 모델이 의미 있는 공간적 의존성을 학습하고 있음을 확인하였으며, 자동차와 같은 단순한 형상에 대해서는 더 단순한 어텐션 패턴을 보였다.