[논문 리뷰] Unsupervised Foreground Extraction via Deep Region Competition

Peiyu Yu, Sirui Xie외 4명|arXiv (Cornell University)|2021. 10. 29.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 에너지 기반 사전 지식과 혼합 전문가(MoE) 생성 모델을 결합한 완전히 비지도 학습 방법인 딥 리전 컴피티션(DRC)을 제안한다. 픽셀 재할당을 인덕티브 바이어스로 사용하여 배경의 규칙성을 모델링하며, 기대치 최대화(EM)를 통해 반복적으로 전경-배경 분할을 정밀하게 개선한다. 이로 인해 복잡한 실생활 및 다중 객체 장면에서 최신 기술 수준의 성능을 달성하며, 훈련 중에 볼 수 없었던 객체 카테고리로의 제로샷 일반화도 가능하다.

ABSTRACT

We present Deep Region Competition (DRC), an algorithm designed to extract foreground objects from images in a fully unsupervised manner. Foreground extraction can be viewed as a special case of generic image segmentation that focuses on identifying and disentangling objects from the background. In this work, we rethink the foreground extraction by reconciling energy-based prior with generative image modeling in the form of Mixture of Experts (MoE), where we further introduce the learned pixel re-assignment as the essential inductive bias to capture the regularities of background regions. With this modeling, the foreground-background partition can be naturally found through Expectation-Maximization (EM). We show that the proposed method effectively exploits the interaction between the mixture components during the partitioning process, which closely connects to region competition, a seminal approach for generic image segmentation. Experiments demonstrate that DRC exhibits more competitive performances on complex real-world data and challenging multi-object scenes compared with prior methods. Moreover, we show empirically that DRC can potentially generalize to novel foreground objects even from categories unseen during training.

연구 동기 및 목표

• 기존 방법이 수작업 특징에 의존하거나 인간의 간섭이 필요로 하는 복잡한 실생활 이미지에서 비지도 전경 추출 문제를 해결하기 위해.
• 명시적인 감독 없이도 배경의 규칙성을 포괄하는 일반적인 인덕티브 바이어스를 개발하여 전경 객체의 강건한 분리 해소를 위해.
• 혼합 전문가(MoE)를 통한 에너지 기반 사전 지식과 생성 모델링을 통합하여 원리적이고 미분 가능한 전경-배경 분할을 실현하기 위해.
• 기존의 약한 지도 학습 또는 GAN 기반 접근 방식의 한계를 극복하고, 훈련 중에 볼 수 없었던 새로운 객체 카테고리로의 제로샷 일반화를 가능하게 하기 위해.
• 다수의 비지도 방법이 모호하거나 할당되지 않은 마스크를 생성하는 것과는 달리, 전경 객체와 배경 영역을 명시적으로 식별하기 위해.

제안 방법

• DRC는 전경과 배경을 혼합 전문가(MoE) 생성 모델의 구성 요소로 모델링하며, 각 전문가는 영역 유형(전경 또는 배경)을 나타낸다.
• 복잡한 무늬나 질감에 대해 강건성을 향상시키기 위해 배경 영역의 구조적 규칙성을 포착하기 위해 학습된 픽셀 재할당을 핵심 인덕티브 바이어스로 도입한다.
• 영역 경쟁의 영감을 받은 일반화된 베이즈 기준을 사용하여 전경-배경 분할을 최적화 문제로 공식화하고, 기대치 최대화(EM)를 통해 해결한다.
• EM 동안 알고리즘은 구성 요소에 픽셀을 할당하는 단계(E단계)와 MoE 파라미터를 갱신하는 단계(M단계)를 번갈아 수행하며, 구성 요소 간 상호 억제를 활용해 세분화를 정밀하게 개선한다.
• 에너지 기반 사전 지식은 엔드 투 엔드로 학습되어, 형태, 색상, 무늬와 같은 인지적 단서를 암묵적으로 학습하여 분리 해소를 가능하게 한다.
• 이 프레임워크는 다중 객체 세분화를 자연스럽게 지원하며 배경을 별개의 구성 요소로 명시적으로 식별함으로써 해석 가능하고 분리된 출력을 가능하게 한다.

실험 결과

연구 질문

• RQ1 혼합 전문가(MoE)와 에너지 기반 사전 지식을 갖춘 딥 생성 모델은 인간의 애너테이션 없이도 완전히 비지도 전경 추출을 가능하게 할 수 있는가?
• RQ2 명시적인 배경 데이터나 감독 없이도 배경의 규칙성을 인덕티브 바이어스로 모델링할 수 있는가?
• RQ3 전경과 배경 구성 요소 간의 영역 경쟁을 통한 상호작용이 혼잡한 배경을 가진 복잡한 장면에서 세분화 성능을 향상시킬 수 있는가?
• RQ4 학습 중에 볼 수 없었던 새로운 객체 카테고리로의 일반화 능력은 어느 정도까지 가능한가?
• RQ5 제안된 방법은 기존의 많은 비지도 접근 방식과 달리 전경 객체와 배경 영역을 명시적이고 해석 가능한 방식으로 식별할 수 있는가?

주요 결과

• DRC는 Birds, Dogs, Cars와 같은 복잡한 실생활 데이터셋에서 ReDO, IODINE, Slot-Attention 등의 방법보다도 정량적·정성적으로 뛰어난 성능을 달성한다.
• 학습 중에 존재하지 않은 새로운 클래스의 객체가 포함된 테스트 세트에서도 효과적인 일반화 성능을 보이며, 훈련 중에 볼 수 없었던 객체 카테고리로의 일반화 능력이 뛰어나다.
• TM-dSprites 데이터셋에서 DRC는 다중 객체를 성공적으로 세분화하고, 복잡하거나 간섭 요소가 있는 배경에서도 명확한 전경-배경 분리 유지 능력을 보였다.
• Birds, Dogs, Cars 데이터셋에서 다양한 데이터 분포에 걸쳐 일관된 성능을 보이며 색상, 무늬, 형태의 변동성에 대해 강건함을 입증했다.
• 한 번에 하나의 객체가 여러 슬롯에 나뉘는 실패 케이스가 관찰되었는데, 이는 무늬나 조명 변화에 의해 발생하여 향후 연구에서 더 강력한 객체성 모델링이 필요함을 시사한다.
• 영역 경쟁 없이 사전 샘플링을 수행할 경우 전경과 배경 영역이 덜 현실적이며 잘 분리되지 않아, 영역 경쟁이 효과적인 분리 해소를 위해 필수적임을 확인했다.