[논문 리뷰] Visual Semantic Segmentation Based on Few/Zero-Shot Learning: An Overview

Wenqi Ren, Yang Tang외 3명|arXiv (Cornell University)|2022. 11. 13.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 2D 이미지, 영상, 3D 포인트 클라우드/메쉬 분할 작업을 아우르는 소수/제로샷 시각적 의미 분할 방법에 대한 종합적인 조사 보고서를 제공한다. 메트릭 학습, 파라미터 적응, 메모리 네트워크, 생성 모델링 등의 기술적 접근 방식을 검토하며, 최소 또는 전혀 레이블이 없는 데이터로도 새로운 카테고리로의 일반화 능력을 높이는 데 효과적임을 강조하고, 효율성, 다중 작업 협업, 다중 모odal 학습 분야에서의 주요 과제와 향후 연구 방향을 밝힌다.

ABSTRACT

Visual semantic segmentation aims at separating a visual sample into diverse blocks with specific semantic attributes and identifying the category for each block, and it plays a crucial role in environmental perception. Conventional learning-based visual semantic segmentation approaches count heavily on large-scale training data with dense annotations and consistently fail to estimate accurate semantic labels for unseen categories. This obstruction spurs a craze for studying visual semantic segmentation with the assistance of few/zero-shot learning. The emergence and rapid progress of few/zero-shot visual semantic segmentation make it possible to learn unseen-category from a few labeled or zero-labeled samples, which advances the extension to practical applications. Therefore, this paper focuses on the recently published few/zero-shot visual semantic segmentation methods varying from 2D to 3D space and explores the commonalities and discrepancies of technical settlements under different segmentation circumstances. Specifically, the preliminaries on few/zero-shot visual semantic segmentation, including the problem definitions, typical datasets, and technical remedies, are briefly reviewed and discussed. Moreover, three typical instantiations are involved to uncover the interactions of few/zero-shot learning with visual semantic segmentation, including image semantic segmentation, video object segmentation, and 3D segmentation. Finally, the future challenges of few/zero-shot visual semantic segmentation are discussed.

연구 동기 및 목표

• 2D, 영상, 3D 분할 작업 전반에 걸쳐 최근 소수/제로샷 시각적 의미 분할 기술의 발전을 체계적으로 검토하는 것.
• 다양한 분할 모odal과 상황 간 공통적인 기술 전략과 아키텍처적 차이를 규명하는 것.
• 기존의 감독 학습 방법이 새로운 카테고리 처리에 한계를 보이는 이유를 분석하고, 소수/제로샷 학습이 이를 극복하는 데서 수행하는 역할을 규명하는 것.
• 텍스트 임베딩, 옵티컬 플로우 등의 다중 모달 감독이 레이블이 많은 데이터 없이도 일반화 능력을 향상시키는 잠재력을 탐색하는 것.
• 자율 주행 시스템 및 산업 모니터링과 같은 실세계 응용 분야에 소수/제로샷 분할을 도입하기 위한 열린 과제와 유망한 연구 방향을 제시하는 것.

제안 방법

• 소수/제로샷 시각적 의미 분할를 위한 기술적 해결책을 메트릭 학습, 파라미터 적응, 파인튜닝, 메모리 네트워크, 생성 모델링으로 분류하고 분석한다.
• 이미지 의미 분할(ISS), 영상 객체 분할(VOS), 3D 분할(3DS)의 세 가지 주요 작업에 걸쳐 대표적인 모델과 아키텍처를 검토하며, 2D 및 3D 포인트 클라우드/메시에 중점을 둔다.
• 소수 학습에서 사용되는 지원-쿼리 파라다임을 분석하며, 소수의 레이블이 있는 예시들(지원 세트)이 쿼리 샘플의 분할을 안내하는 방식을 다룬다.
• 단어 임베딩 및 언어 기술과 같은 교차 모달 감독이 제로샷 분할에서 레이블 데이터 격차를 메우는 데 기여하는 방식을 평가한다.
• 계산 비용을 줄이면서도 분할 정확도를 유지하기 위해 경량 네트워크 설계 통합 전략을 제안한다.
• 객체 검출 등의 다른 비전 작업과의 시각적 의미 분할 간의 교차 작업 협업을 논의하여 샘플 효율성과 모델 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 2D, 영상, 3D 환경에서 소수/제로샷 시각적 의미 분할에 사용되는 핵심 기술적 접근 방식은 무엇인가?
• RQ2 메트릭 학습, 메모리 네트워크, 생성 모델 등 다양한 방법들이 본래의 카테고리와 새로운 카테고리 간의 도메인 이동을 어떻게 다루는가?
• RQ3 이미지, 영상, 3D 분할 작업에 소수/제로샷 학습을 적용할 때의 주요 차이점과 유사점은 무엇인가?
• RQ4 레이블이 없는 상황에서 텍스트, 옵티컬 플로우 등의 다중 모달 감독이 제로샷 분할 성능을 어떻게 향상시킬 수 있는가?
• RQ5 제한된 데이터와 계산 자원으로 실세계 응용에 소수/제로샷 시각적 의미 분할을 도입하는 데 있어 주요 열린 과제는 무엇인가?

주요 결과

• 소수/제로샷 시각적 의미 분할은 몇 개 또는 전혀 레이블이 없는 샘플만으로도 새로운 카테고리의 정확한 분할을 가능하게 하여 레이블링 의존도를 크게 감소시킨다.
• 메트릭 학습 기반 방법은 카테고리 간 일반화가 가능한 분류 가능한 특징 공간을 학습함으로써 소수의 이미지 및 영상 분할에서 뛰어난 성능을 보인다.
• 메모리 네트워크와 파라미터 적응 기법은 지원 세트의 특징을 저장하거나 적응함으로써 소수 학습의 일반화 능력을 향상시키며, 특히 장기 시퀀스나 장꼬리 분포 상황에서 유리하다.
• 제로샷 분할에서의 생성 모델링 접근 방식은 의미 임베딩(예: 워드 벡터)을 활용해 가짜 분할 마스크를 합성함으로써 새로운 클래스에 대한 추론을 가능하게 한다.
• 3D 분할 작업, 특히 포인트 클라우드와 메시에 대해서는 소수/제로샷 방법이 유용하지만, 비정규적인 데이터 구조와 높은 레이블링 비용으로 인해 추가 과제가 수반된다.
• 소수 객체 검출과 분할 간의 교차 작업 협업은 레이블링 효율성을 향상시키고 제한된 데이터에서의 성능을 개선하는 데 기여할 수 있다.