[논문 리뷰] GroupViT: Semantic Segmentation Emerges from Text Supervision

Jiarui Xu, Shalini De Mello외 5명|arXiv (Cornell University)|2022. 02. 22.

Multimodal Machine Learning Applications인용 수 12

한 줄 요약

GroupViT는 이미지-텍스트 대비 학습을 유일한 supervision으로 사용하여 계층적인 비전 트랜스포머를 도입하여 이미지 영역을 의미론적으로 유의미한 임의의 모양의 세그먼트로 군집화하는 방법을 제안한다. 이로 인해 PASCAL VOC 2012에서 52.3% mIoU, PASCAL Context에서 22.4% mIoU의 제로샷 세그먼테이션 성능을 달성하며, 픽셀 수준의 annotation이나 피팅 트레이닝 없이도 일부 경우에서 완전히 지도 학습된 방법을 초월한다.

ABSTRACT

Grouping and recognition are important components of visual scene understanding, e.g., for object detection and semantic segmentation. With end-to-end deep learning systems, grouping of image regions usually happens implicitly via top-down supervision from pixel-level recognition labels. Instead, in this paper, we propose to bring back the grouping mechanism into deep networks, which allows semantic segments to emerge automatically with only text supervision. We propose a hierarchical Grouping Vision Transformer (GroupViT), which goes beyond the regular grid structure representation and learns to group image regions into progressively larger arbitrary-shaped segments. We train GroupViT jointly with a text encoder on a large-scale image-text dataset via contrastive losses. With only text supervision and without any pixel-level annotations, GroupViT learns to group together semantic regions and successfully transfers to the task of semantic segmentation in a zero-shot manner, i.e., without any further fine-tuning. It achieves a zero-shot accuracy of 52.3% mIoU on the PASCAL VOC 2012 and 22.4% mIoU on PASCAL Context datasets, and performs competitively to state-of-the-art transfer-learning methods requiring greater levels of supervision. We open-source our code at https://github.com/NVlabs/GroupViT .

연구 동기 및 목표

• 오직 이미지-텍스트 supervision만을 활용하여 픽셀 수준의 annotation 없이 제로샷 세그먼테이션을 가능하게 하기 위해.
• 기존의 CNN 및 ViT에서의 엔드 투 엔드 암묵적 군집화를 넘어서, 딥 네트워크에 명시적인 시각 군집화를 재도입하기 위해.
• 대규모 이미지-텍스트 데이터에서 학습된 계층적 군집화 메커니즘을 통해 의미론적 세그먼트가 자연스럽게 유도될 수 있음을 보여주기 위해.
• 피팅 트레이닝이나 밀도 있는 annotation이 필요 없이 오직 텍스트 supervision만으로도 경쟁적인 세그먼테이션 벤치마크 성능을 달성하고, 이를 초월하기 위해.

제안 방법

• 그리드 기반 토큰 처리를 대체하기 위해 다단계에서 동적이고 비정형의 영역 군집화를 수행하는 계층적 그룹링 비전 트랜스포머(Grouping Vision Transformer, GroupViT)를 제안한다.
• 자기 어텐션과 특징 집약을 사용하여 작은 시각 토큰들을 더 큰 의미론적으로 일관된 세그먼트로 융합하는 학습 가능한 군집 모듈을 도입한다.
• 대규모 이미지-텍스트 데이터셋(예: Conceptual Captions, Flickr30k)에서 이미지 수준의 텍스트 supervision을 사용하여 비전 트랜스포머와 텍스트 인코더를 함께 대비 학습한다.
• 최종 그룹 특징에 대해 평균 풀링을 수행하여 이미지 수준의 임베딩을 생성하고, 이를 텍스트 임베딩과 대비시켜 시각적 세그먼트를 텍스트 개념과 정렬한다.
• 공유된 임베딩 공간에서 그룹 임베딩과 클래스 레이블의 텍스트 임베딩 간의 유사도를 계산하여 제로샷 세그먼테이션을 수행한다.
• 초기 단계에서는 중수준 개념(예: 눈, 팔다리)을 학습하고, 후속 단계에서는 고수준 개념(예: 얼굴, 몸통)을 형성하는 다단계 아키텍처를 사용한다.

Figure 1 : Problem Overview . First, we jointly train GroupViT and a text encoder using paired image-text data. With GroupViT, meaningful semantic grouping automatically emerges without any mask annotations. Then, we transfer the trained GroupViT model to the task of zero-shot semantic segmentation.

실험 결과

연구 질문

• RQ1 픽셀 수준의 annotation 없이 오직 텍스트 supervision만으로도 의미론적 세그먼테이션이 유도될 수 있는가?
• RQ2 비전 트랜스포머 내 계층적 군집화 메커니즘이 명시적 supervision 없이 의미론적으로 의미 있는 이미지 세그먼트를 형성할 수 있는가?
• RQ3 이미지-텍스트 대비 학습으로 사전학습된 모델이 제로샷 세그먼테이션 작업으로 얼마나 잘 일반화되는가?
• RQ4 텍스트로 supervision된 군집 기반 모델의 성능은 완전히 지도 학습된 방법이나 자기지도 학습 전이 방법과 비교하여 어떻게 되는가?

주요 결과

• GroupViT는 피팅 트레이닝이나 픽셀 수준의 annotation 없이도 제로샷 세그먼테이션에서 PASCAL VOC 2012에서 52.3% mIoU, PASCAL Context에서 22.4% mIoU의 성능을 달성한다.
• 비모수적 군집화를 사용하는 CLIP 기반 베이스라인에 비해 크게 뛰어난 성능을 보이며, 학습된 계층적 군집화의 우수성을 입증한다.
• PASCAL VOC 2012에서 GroupViT의 제로샷 성능(52.3% mIoU)은 분류 및 세그먼테이션 레이블로 피팅 트레이닝된 완전히 지도 학습된 ViT(53% mIoU)와 거의 유사한 성능을 보인다.
• 오직 이미지 수준의 텍스트 supervision만을 사용함에도 불구하고 GroupViT는 의미론적으로 일관된 그룹을 형성한다. 이는 '손'이나 '눈'과 같은 특정 개념을 주의 집중하는 어텐션 맵을 통해 뚜렷하게 드러난다.
• 모델은 알려지지 않은 카테고리와 어휘에 대해 일반화되며, 텍스트 supervision에서 밀도 예측 작업으로의 강력한 제로샷 전이 능력을 보여준다.
• PASCAL Context에서의 성능은 VOC보다 낮은 편이며, 주로 텍스트 캡션에 포함되지 않는 배경 클래스(예: 지면, 도로)로 인해 그룹 세그먼트가 잘못 분류되기 때문이다.

Figure 2 : (a) The Architecture and Training Pipeline of GroupViT. GroupViT contains a hierarchy of Transformer layers grouped into stages, each operating on progressively larger visual segments. The images on the right show visual segments that emerge in the different grouping stages. The lower sta