[논문 리뷰] SimCon Loss with Multiple Views for Text Supervised Semantic Segmentation

Yash Patel, Yusheng Xie외 3명|arXiv (Cornell University)|2023. 02. 07.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 웹에서 크롤링한 이미지-텍스트 쌍에서 발생하는 노이즈를 줄이고, 내모odal 유사도를 활용하여 강건한 양성 샘플을 식별함으로써 텍스트 지도 zero-shot 세분화 성능을 향상시키는 새로운 대비 학습 방법인 SimCon 손실을 제안한다. 다중 이미지 뷰(MV-SimCon)와 결합함으로써, 이 방법은 PASCAL VOC, PASCAL Context, MSCOCO에서 각각 +3.0%, +3.3%, +6.9%의 mIoU 향상을 달성하며, 테스트 시 증강 기법을 사용할 경우 각각 58.7%, 26.6%, 33.3%의 SOTA 성능을 기록한다.

ABSTRACT

Learning to segment images purely by relying on the image-text alignment from web data can lead to sub-optimal performance due to noise in the data. The noise comes from the samples where the associated text does not correlate with the image's visual content. Instead of purely relying on the alignment from the noisy data, this paper proposes a novel loss function termed SimCon, which accounts for intra-modal similarities to determine the appropriate set of positive samples to align. Further, using multiple views of the image (created synthetically) for training and combining the SimCon loss with it makes the training more robust. This version of the loss is termed MV-SimCon. The empirical results demonstrate that using the proposed loss function leads to consistent improvements on zero-shot, text supervised semantic segmentation and outperforms state-of-the-art by $+3.0\%$, $+3.3\%$ and $+6.9\%$ on PASCAL VOC, PASCAL Context and MSCOCO, respectively. With test time augmentations, we set a new record by improving these results further to $58.7\%$, $26.6\%$, and $33.3\%$ on PASCAL VOC, PASCAL Context, and MSCOCO, respectively. In addition, using the proposed loss function leads to robust training and faster convergence.

연구 동기 및 목표

• 웹에서 크롤링한 데이터에서 발생하는 노이즈가 많은 이미지-텍스트 쌍이 텍스트 지도 세분화 성능을 떨어뜨리는 문제를 해결하기 위해.
• 밀도 있는 앵커파일 또는 약한 감독 없이도 zero-shot 세분화 성능을 향상시키기 위해.
• 단지 쌍으로 이루어진 이미지-텍스트 쌍을 넘어서 내모달 유사도를 고려한 대비 손실을 개발하여 더 나은 양성 샘플을 식별하기 위해.
• 이미지의 다수의 합성 뷰를 통해 훈련의 강건성과 수렴 속도를 향상시키기 위해.
• 웹 데이터에서의 이미지-텍스트 정렬 정보만을 사용하여 zero-shot 세분화에서 SOTA 성능을 달성하기 위해.

제안 방법

• SimCon 손실을 제안하며, 이미지-이미지 및 텍스트-텍스트 간의 내모달 유사도를 계산하여, 쌍으로 이루어진 이미지-텍스트 쌍 외부의 양성 샘플을 정의한다.
• 임계값을 적용한 유사도 점수를 사용해 각 앵커표본에 대해 양성 이미지와 텍스트를 선택함으로써 노이즈 데이터에 대한 강건성을 향상시킨다.
• 훈련 중에 이미지의 다수의 합성 뷰를 생성하고, 이를 통해 SimCon 손실을 적용함으로써 MV-SimCon을 도입한다.
• 동일한 이미지의 서로 다른 뷰 간에 음성 코사인 유사도(NCS) 손실을 적용하여 시각적 표현의 일관성을 유도한다.
• 모든 뷰에서 이미지 양성 샘플을 통합 계산하며, 어느 한 뷰에서나 유사성이 있는 경우 해당 샘플을 양성으로 간주한다.
• SimCon 손실과 다중 뷰, NCS 손실을 결합하여 교차 모달 정렬과 뷰 일관성 양측을 동시에 최적화한다.

Figure 1 : Top : In the above image-text samples, the text corresponding to the first image does not contain any information about its visual content. The text for the second image correctly describes the visual content of both the first and the second images. Bottom : If we use the InfoNCE loss, on

실험 결과

연구 질문

• RQ1 내모달 유사도는 텍스트 지도 세분화를 위한 대비 학습에서 양성 샘플 선별에 기여하는가?
• RQ2 이미지의 다수의 합성 뷰를 사용하면 zero-shot 세분화의 강건성과 성능이 향상되는가?
• RQ3 MV-SimCon은 InfoNCE에 비해 수렴 속도, 일반화 능력, 다양한 데이터셋에서의 성능에서 어떻게 비교되는가?
• RQ4 MV-SimCon은 노이즈가 많은 웹에서 크롤링한 이미지-텍스트 쌍에 대해 얼마나 민감도를 감소시키는가?
• RQ5 MV-SimCon은 어떤 밀도 있는 감독이나 미세조정 없이도 SOTA 성능을 달성할 수 있는가?

주요 결과

• MV-SimCon은 zero-shot 평가에서 PASCAL VOC에서 기준 모델 대비 +3.0% mIoU 향상, PASCAL Context에선 +3.3%, MSCOCO에선 +6.9% 향상되었다.
• 테스트 시 증강 기법을 사용할 경우, PASCAL VOC에서 58.7% mIoU, PASCAL Context에서 26.6%, MSCOCO에서 33.3%로 새로운 SOTA 기록을 수립하였다.
• 절단 실험 결과, SimCon에 다중 뷰와 NCS 손실을 적용한 후 통합 이미지 양성 샘플이 기여한 성능 향상이 가장 크며, mIoU 기준 2.7% 향상되었다.
• MV-SimCon으로 훈련된 모델는 InfoNCE보다 더 빠르게 수렴하고, 더 강건하게 데이터 분포 변화에 대응하며, 더 작은 배치 크기와 적은 훈련 데이터 조건에서도 성능이 뛰어나다.
• 배치 크기를 증가시키면 MV-SimCon과 기준 모델 모두 성능 향상이 이루어지지만, 테스트한 모든 배치 크기에서 MV-SimCon이 뛰어난 성능 유지를 보였다.
• 정성적 결과 분석에서 MV-SimCon은 과도한 분할과 클래스 누락 현상을 줄이며, InfoNCE보다 더 정확하고 완전한 마스크를 생성하는 것으로 나타났다.

Figure 2 : SimCon Overview. During training, the sampled images $I$ are passed through the GroupViT model $f_{\theta}$ , and the segment tokens are averaged and normalized to obtain the embedding $\mathbf{z}^{I}$ . The texts $T$ are passed through the text encoder $g_{\phi}$ to obtain the text embed