[논문 리뷰] Promising or Elusive? Unsupervised Object Segmentation from Real-world Single Images

Yan Yang, Bo Yang|arXiv (Cornell University)|2022. 10. 05.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 기존 비지도 객체 분할 모델이 합성 데이터셋에서는 뛰어난 성능을 보임에도 불구하고 실제 이미지에서는 실패하는 이유를 조사한다. 저자들은 외관 및 기하학적 편향을 측정하는 네 가지 정량적 복잡도 요인을 도입하여, 모델의 내재된 편향(inductive biases)과 실제 세계의 객체 분포 간의 불일치가 핵심 실패 원인임을 입증한다. 이는 향후 연구에서 네트워크 설계에 명시적인 객체성 사전 지식을 통합할 것을 촉구한다.

ABSTRACT

In this paper, we study the problem of unsupervised object segmentation from single images. We do not introduce a new algorithm, but systematically investigate the effectiveness of existing unsupervised models on challenging real-world images. We firstly introduce four complexity factors to quantitatively measure the distributions of object- and scene-level biases in appearance and geometry for datasets with human annotations. With the aid of these factors, we empirically find that, not surprisingly, existing unsupervised models catastrophically fail to segment generic objects in real-world images, although they can easily achieve excellent performance on numerous simple synthetic datasets, due to the vast gap in objectness biases between synthetic and real images. By conducting extensive experiments on multiple groups of ablated real-world datasets, we ultimately find that the key factors underlying the colossal failure of existing unsupervised models on real-world images are the challenging distributions of object- and scene-level biases in appearance and geometry. Because of this, the inductive biases introduced in existing unsupervised models can hardly capture the diverse object distributions. Our research results suggest that future work should exploit more explicit objectness biases in the network design.

연구 동기 및 목표

• 비지도 객체 분할 모델의 실제 단일 이미지에 대한 진정한 잠재력을 조사하여, 강력한 합성 성능이 실제 적용 가능성을 암시한다는 가정을 도전한다.
• SOTA 비지도 모델이 COCO와 같은 복잡한 실제 세계 시나리오에 적용되었을 때 실패하는 근본 원인을 규명한다.
• 외관 및 기하학적 편향을 이용해 객체 및 장면 분할의 어려움을 정량화하여, 질적 Gestalt 원칙을 넘어서는 데 목표를 둔다.
• 에어리어(air), 모넷(monet), 아이오딘(iodine), 슬롯애트(slotatt)와 같은 네 가지 주요 비지도 모델을 다양한 실제 세계 데이터셋에 대해 제어된 편향 변화를 가한 실험에서 평가한다.
• 현재 모델의 내재된 편향이 실제 세계의 객체성 분포와 본질적으로 불일치한다는 점을 규명함으로써 향후 연구를 이끌어내는 데 목표를 둔다.

제안 방법

• 외관 및 기하학적 편향을 측정하기 위해 객체 수준 및 장면 수준에서 객체 색상 기울기, 객체 간 색상 유사도, 객체 형태 규칙성, 척도 균일성의 네 가지 정량적 복잡도 요인을 제안한다.
• 이 네 가지 요인을 체계적으로 제거한 여섯 가지 실제 세계 데이터셋(YCB, ScanNet, COCO)을 구축하여, 각 요소가 분할 성능에 미치는 영향을 분리 분석한다.
• 에어(air), 모넷(monet), 아이오딘(iodine), 슬롯애트(slotatt)의 네 가지 대표적인 비지도 방법을 사용해, 제거된 데이터셋에서 130개 이상의 모델을 새로 훈련하여 편향 분포에 대한 민감도를 평가한다.
• 표준 평가 지표(AP, PQ, 정밀도, 재현율)를 사용해 모든 제거 설정 및 모델 변종에서 분할 성능을 정량적으로 평가한다.
• 여러 데이터셋에서의 정성적 결과를 분석하여, 다양한 편향 조건 하에서의 실패 패턴과 성공 패턴을 시각화한다.
• 합성 데이터셋(dSprites, CLEVR 등)과 실제 세계 데이터셋 간의 성능을 비교하여, 편향 분포의 이동이 유도하는 일반화 격차를 규명한다.

실험 결과

연구 질문

• RQ1 기존 비지도 객체 분할 모델이 합성 벤치마크에서 뛰어난 성능을 보임에도 불구하고, 실제 단일 이미지에 대해 얼마나 잘 일반화되는가?
• RQ2 실제 세계 이미지에서 비지도 분할 성능을 가장 심각하게 떨어뜨리는 특정 외관 및 기하학적 요인은 무엇인가?
• RQ3 예를 들어 색상 기울기, 형태 규칙성 등의 객체 수준 및 장면 수준의 편향을 제거했을 때, 비지도 모델의 분할 정확도에 어떤 영향을 미치는가?
• RQ4 강력한 내재된 편향을 학습하고도 실제 세계 이미지에서 일반적인 객체를 탐지하지 못하는 현재 비지도 모델의 실패 원인은 무엇인가?
• RQ5 기존 모델의 내재된 편향이 실제 세계 이미지에서 실제로 관찰되는 객체성 분포와 얼마나 불일치하는가?

주요 결과

• 기존 비지도 객체 분할 모델은 실제 세계 이미지에서 치명적인 실패를 겪으며, COCO-S+T+U에서 AP가 29.4%에 불과한 반면, 합성 데이터셋에선 80% 이상을 기록한다.
• 실패의 주요 원인은 현재 모델의 내재된 편향과 실제 세계 이미지의 복잡하고 다양한 외관 및 기하학적 편향 분포 간의 불일치이다.
• 모델은 외관 요인에 매우 민감하다: 객체 색상 기울기와 객체 간 색상 유사도를 유지할 경우, 특히 COCO와 ScanNet에서 성능이 크게 하락한다.
• 외관 요인을 제거했을 때 성능이 크게 향상됨(예: C+T 데이터셋에서의 성능)을 통해, 외관 복잡도가 주요 실패 요인임을 확인한다.
• 외관 요인을 제거한 후에도 모델은 여전히 실제 세계 데이터에서 어려움을 겪으며, 비정규형 형태와 비균일한 척도 등의 기하학적 편향이 지속적인 과제임을 시사한다.
• 모넷은 COCO-C+T+U에서 86.9%의 AP를 기록하지만, COCO-S+T+U에선 29.4%에 그치며, 이는 외관 변동성이 강력한 내재된 편향이 있음에도 불구하고 성능을 심각하게 떨어뜨린다는 점을 입증한다.