[논문 리뷰] ClevrTex: A Texture-Rich Benchmark for Unsupervised Multi-Object Segmentation

Laurynas Karazija, Iro Laina외 1명|arXiv (Cornell University)|2021. 11. 19.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 다양한 재료와 복잡한 조명을 갖춘 질감이 있는 사진처럼 사실적인 3D 시각적 장면을 포함하는 합성 벤치마크인 ClevrTex를 소개한다. 이는 비지도 다중 객체 분할 모델을 시험하기 위해 고안되었다. CLEVR와 같은 더 단순한 벤치마크에서는 뛰어난 성능을 보였지만, 모든 최신 기술 모델들이 질감이 있는 시각적 장면으로의 일반화에 실패함으로써 현재 기술의 시각적 복잡성에 대한 대처 능력에 심각한 격차가 있음을 드러낸다.

ABSTRACT

There has been a recent surge in methods that aim to decompose and segment scenes into multiple objects in an unsupervised manner, i.e., unsupervised multi-object segmentation. Performing such a task is a long-standing goal of computer vision, offering to unlock object-level reasoning without requiring dense annotations to train segmentation models. Despite significant progress, current models are developed and trained on visually simple scenes depicting mono-colored objects on plain backgrounds. The natural world, however, is visually complex with confounding aspects such as diverse textures and complicated lighting effects. In this study, we present a new benchmark called ClevrTex, designed as the next challenge to compare, evaluate and analyze algorithms. ClevrTex features synthetic scenes with diverse shapes, textures and photo-mapped materials, created using physically based rendering techniques. It includes 50k examples depicting 3-10 objects arranged on a background, created using a catalog of 60 materials, and a further test set featuring 10k images created using 25 different materials. We benchmark a large set of recent unsupervised multi-object segmentation models on ClevrTex and find all state-of-the-art approaches fail to learn good representations in the textured setting, despite impressive performance on simpler data. We also create variants of the ClevrTex dataset, controlling for different aspects of scene complexity, and probe current approaches for individual shortcomings. Dataset and code are available at https://www.robots.ox.ac.uk/~vgg/research/clevrtex.

연구 동기 및 목표

• 비지도 다중 객체 분할 모델이 질감과 재료가 풍부한 현실적인 시각적 장면을 테스트할 수 있는 벤치마크의 부족을 해결하기 위해.
• 기존의 단순한 균일한 색상과 간단한 형태의 합성 데이터셋을 넘어서 현재 비지도 모델의 일반화 능력을 평가하기 위해.
• 기존 모델이 질감이 풍부하고 복잡한 시각적 외관에 직면했을 때 나타나는 특정 실패 유형을 규명하기 위해.
• 체계적인 평가와 향후 기법 개발을 위해 진단 가능한 변형과 분포 외 테스트 세트를 포함한 표준화된 벤치마크를 제공하기 위해.
• 현재의 벤치마크(예: CLEVR)의 한계를 넘어 실제 세계의 시각적 복잡성 반영하는 새로운 평가 기준을 설정하기 위해.

제안 방법

• 물리 기반 렲영을 사용해 50,000장의 훈련 이미지와 10,000장의 테스트 이미지를 포함하는 합성 데이터셋을 생성하며, 다양한 형태의 3~10개의 객체와 60종의 서로 다른 재료를 포함한다.
• 사진 매핑된 표면, 그림자, 깊이 정보 등의 복잡한 질감을 포함한 60종의 재료 카탈로그를 도입하여 시각적 현실감을 향상시킨다.
• 특정 시각적 복잡성의 원인을 분리하고 조사하기 위해 데이터셋의 변형을 제작한다. 예를 들어 배경 일관성(PlainBG, GrassBG)과 객체 외관 일관성(VarBG)을 고려한다.
• 학습 분포 외의 형태와 재료를 포함하는 분포 외(OOD) 테스트 세트를 설계하여 일반화 능력을 평가한다.
• 표준화된 메트릭을 사용해 최근의 다양한 비지도 다중 객체 분할 모델(GNM, IODINE, GQN, ObjectRoom 등)을 ClevrTex에서 벤치마크한다.
• 재구성 기반 목표함수와 픽셀 공간 또는 구간 기반 아키텍처를 사용해 시각적 복잡성이 증가함에 따라 모델의 행동을 비교한다.

실험 결과

연구 질문

• RQ1 최신 기술 비지도 다중 객체 분할 모델은 CLEVR와 같은 단순한 벤치마크와 비교해 질감이 풍부하고 사진처럼 사실적인 ClevrTex 벤치마크에서 어떻게 성능을 내는가?
• RQ2 현재 모델들이 어떤 특정 시각적 단서(예: 색상 균일성, 질감 일관성, 형태 규칙성)에 의존하는가? 이러한 단서가 없을 경우 어떻게 실패하는가?
• RQ3 픽셀 공간 모델과 구간 기반 모델은 복잡한 질감과 균일하지 않은 외관을 가진 장면으로의 일반화 능력이 어느 정도인가?
• RQ4 배경 일관성 또는 객체 외관 일관성이 모델 성능에 미치는 영향은 무엇이며, 이는 모델의 인도크티브 바이어스에 대해 무엇을 드러내는가?
• RQ5 데이터셋의 진단 가능한 변형은 현재 비지도 장면 분해 모델의 개별 실패 유형을 고립하고 설명할 수 있는가?

주요 결과

• 모든 최신 기술 비지도 다중 객체 분할 모델은 CLEVR와 같은 단순한 벤치마크에서는 뛰어난 성능을 보였지만, ClevrTex에서는 만족스러운 성능을 달성하지 못했다.
• 픽셀 공간 모델은 일관된 색상 영역과 부드러운 기울기를 과적합하여 복잡한 질감을 가진 객체를 분할하지 못한다.
• GNM 및 IODINE와 같은 구간 기반 모델은 ClevrTex에서 더 나은 성능을 보였지만, 여전히 전반적인 맥락과 의미적 정렬을 처리하는 데 어려움을 겪으며, 날카운 강도 변화를 객체로 오인하는 경우가 많다.
• 배경이 일관된(예: PlainBG) 또는 객체 재료가 일관된(예: VarBG) 데이터셋 변형에서는 성능이 크게 향상되어, 모델이 외관 일관성에 의존하고 있음을 시사한다.
• ClevrTex에서 가장 뛰어난 성능을 보인 모델들조차도 전반적인 장면 맥락을 활용하지 못하고, 오히려 국소적 시각 패턴과 재구성 정확도에 집중한다.
• 학습에 사용되지 않은 형태와 재료를 포함하는 OOD 테스트 세트는 현재 모델들이 강건한 일반화 능력을 갖추지 못하고 있음을 드러내며, 실제 세계 데이터로의 이행이 여전히 큰 과제임을 재확인한다.