[논문 리뷰] A Survey on Label-efficient Deep Image Segmentation: Bridging the Gap between Weak Supervision and Dense Prediction

Wei Shen, Zelin Peng외 7명|arXiv (Cornell University)|2022. 07. 04.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 종합 검토에서는 약한 지도학습(예: 경계 상자, 스케치, 이미지 수준의 레이블)과 조밀한 픽셀 수준 예측을 연결하는 레이블 효율적인 딥 이미지 세그멘테이션 방법의 체계적인 분류를 제시한다. 이는 지도학습 유형과 세그멘테이션 작업에 따라 기존의 접근 방식을 체계화하고, 크로스픽셀 유사성 및 크로스뷰 일관성과 같은 핵심 인덕티브 바이어스를 식별하며, 비전 트랜스포머와 텍스트 지도학습을 통한 제로샷 세그멘테이션을 포함한 향후 방향성을 제시한다.

ABSTRACT

The rapid development of deep learning has made a great progress in image segmentation, one of the fundamental tasks of computer vision. However, the current segmentation algorithms mostly rely on the availability of pixel-level annotations, which are often expensive, tedious, and laborious. To alleviate this burden, the past years have witnessed an increasing attention in building label-efficient, deep-learning-based image segmentation algorithms. This paper offers a comprehensive review on label-efficient image segmentation methods. To this end, we first develop a taxonomy to organize these methods according to the supervision provided by different types of weak labels (including no supervision, inexact supervision, incomplete supervision and inaccurate supervision) and supplemented by the types of segmentation problems (including semantic segmentation, instance segmentation and panoptic segmentation). Next, we summarize the existing label-efficient image segmentation methods from a unified perspective that discusses an important question: how to bridge the gap between weak supervision and dense prediction -- the current methods are mostly based on heuristic priors, such as cross-pixel similarity, cross-label constraint, cross-view consistency, and cross-image relation. Finally, we share our opinions about the future research directions for label-efficient deep image segmentation.

연구 동기 및 목표

• 딥 이미지 세그멘테이션에서 픽셀 수준의 레이블링에 드는 높은 비용과 노동 강도 문제를 해결하기 위해 레이블 효율적인 학습을 가능하게 하기 위해.
• 약한 지도학습, 준지도학습, 자기지도학습 이미지 세그멘테이션 방법에 대한 연구가 급격히 증가하는 상황을 체계화하기 위해.
• 약한 지도학습과 조밀한 예측 간의 갭을 메우는 공통 프레임워크 아래에서 다양한 레이블 효율적 방법을 통합하기 위해.
• 최신 기술에서 널리 사용되는 핵심 인덕티브 바이어스—예: 크로스픽셀 유사성, 크로스뷰 일관성, 크로스이미지 관계—를 식별하기 위해.
• 향후 연구 방향, 예를 들어 텍스트 지도학습을 통한 제로샷 세그멘테이션, 비전 트랜스포머, 혼합 레이블을 활용한 라이프런닝 학습 등을 개괄하기 위해.

제안 방법

• 약한 지도학습 유형에 대한 계층적 분류를 제안: 지도학습 없음, 정확하지 않은, 불완전한, 정확도가 떨어지는 지도학습.
• 세그멘테이션 작업 유형에 따라 방법을 분류: 세분화, 인스턴스, 팬옵티컬 세그멘테이션.
• 레이블 효율적 모델에서 사용되는 핵심 인덕티브 바이어스를 식별하고 분석: 크로스픽셀 유사성, 크로스레이블 제약, 크로스뷰 일관성, 크로스이미지 관계.
• 예를 들어 MaskContrast, STEGO, PseudoSeg, ADELE와 같은 대표적 방법을 검토하여 설계 원리를 설명한다.
• 자기지도학습 사전 훈련(예: DINO, MAE, BEiT)이 약한 지도학습 세그멘테이션을 위한 가짜 레이블 생성을 어떻게 가능하게 하는지 분석한다.
• 구조적 인덕티브 바이어스를 통해 약한 지도학습과 조밀한 예측 간의 격차를 메우는 통합적 시각을 제안한다.

실험 결과

연구 질문

• RQ1 이미지 수준의 레이블, 경계 상자, 스케치와 같은 약한 지도학습 유형을 어떻게 체계적으로 분류하여 레이블 효율적 세그멘테이션의 방법 설계를 안내할 수 있는가?
• RQ2 약한 지도학습에서 조밀한 픽셀 수준 예측으로의 지식 전달을 효과적으로 가능하게 하는 주요 인덕티브 바이어스는 무엇인가?
• RQ3 크로스픽셀 유사성, 크로스뷰 일관성, 크로스이미지 관계는 어떤 방식으로 약한 지도학습 하에서 세그멘테이션 정확도를 향상시키는가?
• RQ4 현재 레이블 효율적 세그멘테이션 방법의 주요 한계는 무엇이며, 새로운 아키텍처나 사전 훈련 프레임워크를 통해 어떻게 보완할 수 있는가?
• RQ5 비전 트랜스포머, 제로샷 세그멘테이션, 라이프런닝 학습 등 향후 연구 방향 중에서 조밀한 예측 작업에서의 레이블 효율성을 향상시키는 데 가장 유망한 것은 무엇인가?

주요 결과

• 자기지도학습 비전 트랜스포머(예: DINO, MAE, 또는 iBoT 사전 훈련을 거친 ViT)는 고품질의 어텐션 맵을 생성하여 약한 지도학습 세그멘테이션에 신뢰할 수 있는 가짜 레이블로 활용할 수 있다.
• 크로스픽셀 유사성과 크로스뷰 일관성을 활용한 방법들, 예를 들어 STEGO와 PseudoSeg는 최소한의 지도학습으로도 약한 지도학습 세그멘테이션 벤치마크에서 뛰어난 성능을 달성한다.
• 비전 트랜스포머 기반 모델인 MCTFormer과 CLIMS는 CNN보다 장거리 의존성을 더 효과적으로 모델링하여 약한 지도학습 세그멘테이션에서 성능 향상을 보였다.
• CLIP 스타일의 텍스트-이미지 정렬을 활용한 제로샷 세그멘테이션은 유망한 방향성이지만, 현재의 방법들은 유사한 클래스에서 사전 훈련에 의존하여 진정한 제로샷 일반화는 제한되어 있다.
• 노이즈가 많은 레이블에서의 인스턴스 세그멘테이션과 불완전한 레이블에서의 팬옵티컬 세그멘테이션과 같은 미해결 문제들은 여전히 열려 있어 상당한 연구 잠재력을 지닌다.
• 혼합 레이블 유형(예: 경계 상자, 스케치, 이미지 수준 레이블)을 활용한 라이프런닝 학습은 중요한 향후 연구 방향이며, 새로운 벤치마크와 통합 평가를 위한 통합 프레임워크가 필요로 한다.