[논문 리뷰] Octree Transformer: Autoregressive 3D Shape Generation on Hierarchically Structured Sequences

Moritz Ibing, Gregor Kobsik외 1명|arXiv (Cornell University)|2021. 11. 24.

3D Shape Modeling and Analysis인용 수 6

한 줄 요약

이 논문은 계층적인 옥트리 구조와 학습 가능한 압축 기법을 사용하여 시퀀스 길이를 줄이고 효율적인 트랜스포머 기반 생성을 위한 새로운 순차적 3D 모양 생성 모델인 옥트리 트랜스포머를 제안한다. 컨볼루션 연산을 통해 옥트리 시퀀스를 압축하고 완전한 순차적 디코딩을 가능하게 함으로써, 256³ 해상도까지 경쟁적인 3D 모양 생성 및 슈퍼해상도를 달성하면서도 구조적 일관성을 유지하고 클래스 조건부 생성을 지원한다.

ABSTRACT

Autoregressive models have proven to be very powerful in NLP text generation tasks and lately have gained popularity for image generation as well. However, they have seen limited use for the synthesis of 3D shapes so far. This is mainly due to the lack of a straightforward way to linearize 3D data as well as to scaling problems with the length of the resulting sequences when describing complex shapes. In this work we address both of these problems. We use octrees as a compact hierarchical shape representation that can be sequentialized by traversal ordering. Moreover, we introduce an adaptive compression scheme, that significantly reduces sequence lengths and thus enables their effective generation with a transformer, while still allowing fully autoregressive sampling and parallel training. We demonstrate the performance of our model by comparing against the state-of-the-art in shape generation.

연구 동기 및 목표

• 3D 볼록 격자에서 순차적 트랜스포머를 적용하는 데 있어 장기적인 시퀀스와 높은 메모리 비용으로 인한 도전 과제를 해결하기 위해.
• 시퀀스 길이를 줄여 효율적인 트랜스포머 처리를 가능하게 하면서도 전체 순차적 생성 능력을 유지하는 시퀀스 압축 방법을 개발하기 위해.
• 구조적이고 계층적인 옥트리 표현을 사용하여 고해상도 3D 모양 생성 및 슈퍼해상도를 가능하게 하기 위해.
• 단일 통합 순차적 프레임워크 내에서 클래스 조건부 생성과 확장 가능한 해상도 합성을 지원하기 위해.

제안 방법

• 모델은 3D 모양을 계층적으로 표현하기 위해 옥트리를 사용하여 해상도에 비례해 메모리 복잡도를 세제곱에서 약 제곱으로 감소시킨다.
• 학습 가능한 컨볼루션 기반 압축 기법을 옥트리 시퀀스에 적용하여 압축 블록 간의 순차적 의존성을 유지하면서도 시퀀스 길이를 크게 줄인다.
• 압축 및 복원 과정은 전체 순차적 생성을 유지하도록 설계되어, 각 토큰이 다른 블록의 이전 토큰들까지 모두 고려하도록 보장한다.
• 트랜스포머 디코더는 압축된 표현을 기반으로 순차적으로 시퀀스를 생성하며, 병렬 훈련을 위한 압축 표현 기반 어텐션 메커니즘이 작용한다.
• 슈퍼해상도를 위해 시퀀스 계속 생성 기능을 지원하여, 굵은 옥트리 시퀀스를 확장해 더 높은 해상도의 모양을 생성한다.
• 순차적 디코딩 중 클래스 임베딩을 조건으로 하여 클래스 조건부 생성을 구현한다.

실험 결과

연구 질문

• RQ1 3D 볼록 격자에서 일반적으로 발생하는 장기적 시퀀스와 높은 메모리 비용으로 인해 순차적 트랜스포머가 3D 모양 생성에 효과적으로 적용될 수 있는가?
• RQ2 옥트리와 같은 계층적이고 구조적인 표현을 사용하여 3D 모양 시퀀스를 압축하면서도 전체 순차적 생성 능력을 유지할 수 있는가?
• RQ3 학습 가능한 압축 기법이 생성 품질과 구조적 일관성을 유지하면서도 효율적이고 병렬 처리 가능한 훈련 및 추론을 가능하게 할 수 있는가?
• RQ4 부분 시퀀스를 연장함으로써 동일한 모델을 새로운 모양 생성과 슈퍼해상도에 모두 사용할 수 있는가?
• RQ5 최신의 GAN 기반 및 VAE 기반 3D 모양 생성 방법과 비교해 모델 성능은 어떻게 되는가?

주요 결과

• 옥트리 트랜스포머는 256³ 해상도까지 일관되고 다양한 모양을 생성하는 데 있어 경쟁적인 3D 모양 생성 성능를 달성하였다. 시각적 결과는 높은 품질을 보였다.
• 8배 확대(3단계)를 통해 모양을 확대함으로써 효과적인 슈퍼해상도를 구현하였으며, 굵은 옥트리 시퀀스에서부터 현실적인 고해상도 출력을 생성하였다.
• 64³ 해상도에서 모델은 최고의 시각적 결과를 보였으며, 더 높은 해상도에서는 압축 비율 증가와 모델 크기 제약으로 인해 품질이 저하되었다.
• 모델은 클래스 조건부 생성을 지원하여 카테고리 레이블에 따라 조건화된 모양 합성을 가능하게 하였다.
• 복잡하고 고해상도의 모양을 생성하기 위해 순차적 생성의 특성으로 인해 샘플링 시간이 길어(수분 내외)졌지만, 압축 과정은 병렬 처리 가능했다.
• 고압축 비율과 비교적 작은 모델 크기로 인해 고해상도에서 성능이 제한되었으며, 특히 노이즈와 일관성 없는 요소가 종종 발생하였다.