[논문 리뷰] Learning Viewpoint-Agnostic Visual Representations by Recovering Tokens in 3D Space

Jinghuan Shang, Srijan Das외 1명|arXiv (Cornell University)|2022. 06. 23.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 3D 토큰 표현 레이어(3DTRL)를 제안하며, 이는 2D 위치 인코딩에 의존하는 시각적 Transformer의 일반화 능력 향상을 위해 비지도 학습을 통한 가짜 깊이 및 학습 가능한 카메라 행렬을 통해 3D 위치 인코딩을 추정하는 플러그 앤 플레이 모듈이다. 이는 시점에 관계없이 일관된 표현을 가능하게 하며, 이미지 분류, 다중 시점 영상 정렬, 동작 인식 등 다양한 작업에서 최소한의 계산 부담(2% FLOPs, 4% 파라미터)으로 성능 향상을 이룬다.

ABSTRACT

Humans are remarkably flexible in understanding viewpoint changes due to visual cortex supporting the perception of 3D structure. In contrast, most of the computer vision models that learn visual representation from a pool of 2D images often fail to generalize over novel camera viewpoints. Recently, the vision architectures have shifted towards convolution-free architectures, visual Transformers, which operate on tokens derived from image patches. However, these Transformers do not perform explicit operations to learn viewpoint-agnostic representation for visual understanding. To this end, we propose a 3D Token Representation Layer (3DTRL) that estimates the 3D positional information of the visual tokens and leverages it for learning viewpoint-agnostic representations. The key elements of 3DTRL include a pseudo-depth estimator and a learned camera matrix to impose geometric transformations on the tokens, trained in an unsupervised fashion. These enable 3DTRL to recover the 3D positional information of the tokens from 2D patches. In practice, 3DTRL is easily plugged-in into a Transformer. Our experiments demonstrate the effectiveness of 3DTRL in many vision tasks including image classification, multi-view video alignment, and action recognition. The models with 3DTRL outperform their backbone Transformers in all the tasks with minimal added computation. Our code is available at https://github.com/elicassion/3DTRL.

연구 동기 및 목표

• 2D 위치 인코딩에 의존하는 시각적 Transformer가 새로운 카메라 시점으로 일반화하는 데에 한계가 있음에 대응하기 위해.
• 3D 감독이나 고비용 3D 애너테이션을 요구하지 않고도 시점에 관계없는 시각적 표현을 학습하는 방법을 개발하기 위해.
• 자기 지율 학습을 통해 2D 이미지에서 3D 토큰 위치를 복구함으로써, 2D 이미지에서 3D 장면 구조를 암묵적으로 이해할 수 있도록 하는 것을 목적으로 한다.
• 이미 존재하는 Transformer 아키텍처에 쉽게 통합될 수 있도록 경량화되고 미분 가능한 모듈을 설계하기 위해.
• 3DTRL의 효과성을 다양한 시각 작업, 즉 이미지 분류, 다중 시점 영상 정렬, 동작 인식 등에서 입증하기 위해.

제안 방법

• Transformer 블록 사이에 작동하며 입력/출력 토큰 차원을 유지하는 3D 토큰 표현 레이어(3DTRL)를 도입한다.
• 각 이미지 패치 토큰에 대해 가짜 깊이 추정기로 깊이를 예측하여, 카메라 중심 좌표계에서 3D 좌표로 변환한다.
• 학습 가능한 네트워크를 통해 카메라 매트릭스(내부 및 외부 파라미터)를 추정하여 카메라 중심 3D 좌표를 세계 기준 3D 위치로 변환한다.
• 추정된 카메라 매트릭스와 깊이를 사용하여 기하학적 변환을 적용함으로써 2D 이미지 패치에서 3D 세계 좌표를 복구한다.
• 복구된 3D 위치 인코딩을 Transformer의 어텐션 메커니즘에 추가 위치 인코딩으로 통합한다.
• 정확한 3D 데이터가 필요 없는 재구성 손실을 사용하여 전체 모듈을 비지도 학습 방식으로 훈련한다.

실험 결과

연구 질문

• RQ1 3D 감독 없이 2D 이미지 패치에서 효과적으로 3D 기하 정보를 복구할 수 있는가? 이는 시점 일반화를 향상시키는 데 기여하는가?
• RQ2 3D 위치 인코딩은 어떻게 학습하고 시각적 Transformer에 통합하여 시점 변화에 대한 강건성을 향상시킬 수 있는가?
• RQ3 3DTRL을 통해 3D 구조를 통합함으로써 이미지 및 영상 이해 작업의 성능 향상은 어느 정도 이루어지는가?
• RQ4 3DTRL은 TimeSformer와 같은 영상 모델에 효과적으로 적용될 수 있는가? 효율성과 성능를 유지하는가?
• RQ5 대규모 2D 영상 데이터(예: Kinetics-400)에서 사전 학습을 수행하면 3DTRL의 최종 작업에서의 일반화 능력이 더욱 향상되는가?

주요 결과

• ImageNet-1K에서 3DTRL은 ResNet-50 및 ViT-base 모델이 각각 기본 모델보다 높은 정확도를 달성함으로써 이미지 분류 정확도를 향상시켰다.
• 다중 시점 영상 정렬 작업에서, 3DTRL은 UCF101-24 및 HMDB51 데이터셋을 포함한 다섯 개의 벤치마크 데이터셋에서 기준 ViT 및 TimeSformer 모델을 모두 능가했다.
• 다양한 시점에서의 동작 인식 작업에서 3DTRL은 Smarthome 및 NTU60 데이터셋에서 최고 성능을 기록했으며, 기준 TimeSformer 대비 최대 4.5% 향상된 성능을 보였다.
• 백본에 비해 추가로 2%의 FLOPs와 4%의 파라미터만 증가시켜 높은 효율성과 확장성을 입증했다.
• Kinetics-400에서 3DTRL을 사전 학습하면, 특히 레이블이 적은 경우에 하류 동작 인식 작업에서 성능 향상이著격하게 향상된다.
• 제거 실험을 통해 가짜 깊이 추정기와 카메라 매트릭스 추정 모두가 3D 표현 복구 및 시점 불변성에 핵심적인 역할을 한다는 것이 확인되었다.