[논문 리뷰] A General Protocol to Probe Large Vision Models for 3D Physical Understanding

Guanqi Zhan, Chuanxia Zheng외 2명|arXiv (Cornell University)|2023. 10. 10.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 스테이블 디퓨전과 같은 대규모 디퓨전 모델이 시나리오의 3D 물리적 성질을 얼마나 잘 이해하는지 평가하기 위한 일반적인 프로빙 프로토콜을 제안한다. 실제 이미지 데이터셋에 3D 성질을 주석으로 달고, 모델의 다양한 레이어와 타임스텝에서 특징에 선형 프로빙을 적용함으로써, 스테이블 디퓨전은 기하학, 지지 관계, 그림자, 깊이를 모델링하는 데 뛰어나며, DINO나 CLIP와 같은 자기지도 학습 모델보다 뛰어난 성능을 보이지만, 재질과 음영 이해에서는 어려움을 겪는다.

ABSTRACT

Our objective in this paper is to probe large vision models to determine to what extent they 'understand' different physical properties of the 3D scene depicted in an image. To this end, we make the following contributions: (i) We introduce a general and lightweight protocol to evaluate whether features of an off-the-shelf large vision model encode a number of physical 'properties' of the 3D scene, by training discriminative classifiers on the features for these properties. The probes are applied on datasets of real images with annotations for the property. (ii) We apply this protocol to properties covering scene geometry, scene material, support relations, lighting, and view-dependent measures, and large vision models including CLIP, DINOv1, DINOv2, VQGAN, Stable Diffusion. (iii) We find that features from Stable Diffusion and DINOv2 are good for discriminative learning of a number of properties, including scene geometry, support relations, shadows and depth, but less performant for occlusion and material, while outperforming DINOv1, CLIP and VQGAN for all properties. (iv) It is observed that different time steps of Stable Diffusion features, as well as different transformer layers of DINO/CLIP/VQGAN, are good at different properties, unlocking potential applications of 3D physical understanding.

연구 동기 및 목표

• 스테이블 디퓨전과 같은 대규모 디퓨전 모델이 시나리오의 3D 물리적 성질을 암묵적으로 학습하는지 조사하기 위해.
• 다양한 물리적 특성에 대해 3D 시나리오 이해를 평가할 수 있는 일반화 가능한 프로빙 프로토콜을 개발하기 위해.
• 스테이블 디퓨전의 3D 시나리오 성질 모델링 성능을 DINO, CLIP 등 자기지도 학습 모델과 비교하기 위해.
• 디퓨전 프로세스의 특정 3D 성질에 대해 가장 유의미한 특징을 인코딩하는 레이어와 타임스텝을 파악하기 위해.
• 디퓨전 모델 특징을 후행 3D 인식 비전 작업에 활용하기 위한 벤치마크 제공하기 위해.

제안 방법

• 3단계 프로빙 프로토콜을 적용함: (1) 특정 3D 성질(예: 그림자에 대한 SOBA)에 대해 참조값이 있는 실사 이미지 데이터셋 선택, (2) 디퓨전 모델의 레이어와 타임스텝에 대해 그리드 서치를 수행해 최적의 특징 식별, (3) 해당 특징을 기반으로 선형 분류기 학습하여 성질 예측.
• 오프더섀프 스테이블 디퓨전의 잠재 공간에서 특징을 추출함; 영역 수준의 표현은 주석이 달린 객체 또는 시나리오 영역에 대해 평균 풀링을 통해 확보함.
• 각 성질에 대해 검증 세트 성능 기반으로 최고 성능을 보인 레이어와 타임스텝을 선택하고, 최종 모델은 테스트 세트에서 ROC AUC를 사용해 평가함.
• 비교 분석을 위해 동일한 프로토콜을 다른 사전 훈련된 모델(OpenCLIP, DINOv1, DINOv2)에 적용함.
• 모든 실험은 파라미터 미세조정 없이 오프더섀프 모델을 사용하며, 단지 특징 추출과 선형 프로빙에 의존해 3D 이해도 평가함.
• 모든 실험은 잠재 공간에 노이즈를 추가해 인painting 유사 조건을 시뮬레이션한 실사 이미지에서 수행됨.

실험 결과

연구 질문

• RQ1 스테이블 디퓨전은 시나리오 기하학과 지지 관계, 그림자와 같은 3D 시나리오 물리적 관계를 어느 정도 잘 모델링하는가?
• RQ2 스테이블 디퓨전의 3D 시나리오 이해 성능는 DINO나 CLIP와 같은 자기지도 학습 모델과 비교해 어떻게 되는가?
• RQ3 디퓨전 프로세스의 어떤 레이어와 타임스텝이 특정 3D 시나리오 성질에 대해 가장 정보가 많은 특징을 인코딩하는가?
• RQ4 프로빙 프로토콜은 디퓨전 모델 내에서 물리적 성질의 명시적 표현을 신뢰성 있게 탐지할 수 있는가?
• RQ5 재질, 음영, 깊이와 같은 3D 시나리오 성질 중 현재 디퓨전 모델이 가장 어려움을 겪는 것은 무엇인가?

주요 결과

• 스테이블 디퓨전은 테스트한 모든 3D 시나리오 성질에서 최고 성능을 기록했으며, 깊이 예측에서 AUC 99.3을 달성해 DINOv2(98.0)와 OpenCLIP(95.5)를 크게 앞서갔다.
• 모델은 시나리오 기하학, 지지 관계, 그림자, 깊이에 대해 강력한 이해도를 보였으며, AUC 점수는 각각 94.4, 94.5, 99.3이었다.
• 재질 이해 성능는 중간 수준으로 AUC 79.4를 기록했고, 음영 이해는 가장 낮아 AUC 75.6을 기록해 여전히 도전 과제임을 시사했다.
• 마지막 레이어 표현을 사용할 때조차 DINOv2와 OpenCLIP는 모든 성질에서 스테이블 디퓨전보다 뒤져, 음영에서 가장 큰 격차(75.6 대 67.9)를 보였다.
• 최적의 레이어와 타임스텝 선택은 마지막 레이어 대비 최대 4% 향상된 성능을 이끌었지만, 기본적으로 마지막 레이어 특징을 사용해도 스테이블 디퓨전은 모든 베이스라인을 앞서갔다.
• 프로빙 프로토콜은 스테이블 디퓨전이 다수의 3D 물리적 성질에 대해 명시적인 특징을 인코딩하고 있음을 성공적으로 탐지했으며, 이는 암묵적인 3D 시나리오 이해를 시사한다.