[논문 리뷰] A Generalist Framework for Panoptic Segmentation of Images and Videos

Ting Chen, Lala Li외 3명|arXiv (Cornell University)|2022. 10. 12.

Image Retrieval and Classification Techniques인용 수 10

한 줄 요약

이 논문은 디퓨전 모델을 사용한 유사 비트를 활용한 조건부 이산 마스크 생성으로서, 이미지 및 영상의 팬오틱 세그멘테이션을 위한 일반주의 프레임워크를 제안한다. 간단한 아키텍처와 일반적인 손실 함수를 활용함으로써 전문가 모델에 경쟁 가능한 성능을 달성하며, 과거 예측에 대한 스트리밍 조건부 처리를 통해 특수 설계 없이도 영상 세그멘테이션을 가능하게 한다.

ABSTRACT

Panoptic segmentation assigns semantic and instance ID labels to every pixel of an image. As permutations of instance IDs are also valid solutions, the task requires learning of high-dimensional one-to-many mapping. As a result, state-of-the-art approaches use customized architectures and task-specific loss functions. We formulate panoptic segmentation as a discrete data generation problem, without relying on inductive bias of the task. A diffusion model is proposed to model panoptic masks, with a simple architecture and generic loss function. By simply adding past predictions as a conditioning signal, our method is capable of modeling video (in a streaming setting) and thereby learns to track object instances automatically. With extensive experiments, we demonstrate that our simple approach can perform competitively to state-of-the-art specialist methods in similar settings.

연구 동기 및 목표

• 특수 설계된 아키텍처나 손실 함수 없이도 일반적이고 작업 무관인 팬오틱 세그멘테이션 프레임워크를 개발하는 것.
• 디퓨전 모델을 사용해 고차원 팬오틱 마스크를 이산 토큰 시퀀스로 모델링함으로써 자동순차 생성의 한계를 극복하는 것.
• 과거 프레임 예측에 대한 스트리밍 조건부 처리를 통해 엔드 투 엔드 영상 팬오틱 세그멘테이션을 가능하게 하는 것.
• 단순한 일반주의 접근 방식이 이미지 및 영상 환경에서 최신 전문가 모델들과 경쟁 가능한 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 팬오틱 세그멘테이션을 조건부 이산 마스크 생성으로 설정하여, 팬오틱 마스크를 의미 및 인스턴스 레이블의 2채널 분류 시퀀스로 간주한다.
• 비트 디퓨전 모델을 사용해 직접 대규모 이산 마스크를 생성하며, 이산 토큰을 유사 비트로 표현함으로써 고차원 분류 데이터에 대한 훈련을 가능하게 한다.
• 모델을 이미지 인코더와 마스크 디코더로 분해하여, 테스트 시에 디코더만을 통과시킴으로써 효율적인 반복적 추론을 가능하게 한다.
• 영상에서 과거 예측을 추가적인 컨텍스트로 첨부함으로써 마스크 생성에 조건부 처리를 하여 자동 인스턴스 추적을 가능하게 한다.
• 입력 이미지가 주어진 조건 하에서 정답 마스크의 가능도를 최적화하기 위해 특수 설계된 인덕티브 바이어스 없이 일반적인 크로스 엔트로피 손실을 사용해 모델을 훈련한다.
• 이미지 및 영상 데이터에 동일한 모델 아키텍처와 훈련 절차를 적용하며, 영상 스트리밍에 최소한의 적응만을 요구한다.

실험 결과

연구 질문

• RQ1 일반주의, 작업 무관인 프레임워크가 특수 설계된 아키텍처나 손실 함수에 의존하지 않고도 팬오틱 세그멘테이션에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 디퓨전 모델이 자동순차 모델의 순차적 제약을 극복하고 대규모 이산 팬오틱 마스크를 효과적으로 생성할 수 있는가?
• RQ3 과거 예측에 대한 스트리밍 조건부 처리를 통해 단일 이미지 기반 모델을 영상 세그멘테이션으로 확장할 수 있으며, 자동 인스턴스 추적을 가능하게 하는가?
• RQ4 일반적인 디퓨전 기반 접근 방식이 이미지 및 영상 팬오틱 세그멘테이션 벤치마크에서 정확도와 효율성 측면에서 전문가 최신 모델들과 어떻게 비교되는가?

주요 결과

• 제안된 비트 디퓨전 기반 프레임워크는 MS-COCO, Cityscapes, DAVIS 벤치마크에서 일반적인 아키텍처와 손실 함수를 사용함에도 불구하고 경쟁 가능한 성능을 달성하며, 최신 기술 수준에 도달하거나 이를 근접한다.
• 디퓨전 프로세스를 사용해 대규모 이산 팬오틱 마스크(100만 개 이상의 토큰)를 성공적으로 생성함으로써 고차원 이산 데이터에 대한 확장성을 입증한다.
• 과거 프레임 예측에 조건부 처리를 통해 모델은 명시적인 추적 헤드나 인스턴스 매칭 모듈 없이도 객체를 영상 프레임 간에 추적하는 것을 학습한다.
• 비지도 영상 객체 세그멘테이션(UVOS)에 대해 일반화가 잘 되어 있으며, 최소한의 미세조정과 수동 초기화 없이도 뛰어난 성능을 달성한다.
• 이미지 인코더와 마스크 디코더의 분리 덕분에 추론 과정이 효율적이며, 생성 과정에서 디코더만을 반복적으로 정밀화할 수 있다.
• 간단하고 일반적인 접근 방식이 복잡한 전문화된 파이프라인을 능가하거나 이를 따라잡을 수 있음을 보여주며, 향후 확장성과 적응성이 뛰어난 비전 모델의 잠재력을 시사한다.