[논문 리뷰] Mix-and-Match Tuning for Self-Supervised Semantic Segmentation

Xiaohang Zhan, Ziwei Liu외 3명|arXiv (Cornell University)|2017. 12. 02.

Advanced Neural Network Applications참고 문헌 35인용 수 6

한 줄 요약

이 논문은 자기지도 학습 기반 세분화 성능을 향상시키기 위해 타겟 데이터셋에서 희소하고 혼합된 패치를 활용하여 클래스별로 연결된 그래프를 구축하는 트리플릿 기반 거리 학습을 위한 플러그 앤 플레이 방법인 Mix-and-Match(M&M) 튜닝을 제안한다. 이 방법은 추가적인 애너테이션 없이 PASCAL VOC2012와 CityScapes에서 모두 ImageNet-지도 학습 전훈보다 뛰어난 성능을 기록하며, 최신 기술 수준에 도달한다.

ABSTRACT

Deep convolutional networks for semantic image segmentation typically require large-scale labeled data, e.g. ImageNet and MS COCO, for network pre-training. To reduce annotation efforts, self-supervised semantic segmentation is recently proposed to pre-train a network without any human-provided labels. The key of this new form of learning is to design a proxy task (e.g. image colorization), from which a discriminative loss can be formulated on unlabeled data. Many proxy tasks, however, lack the critical supervision signals that could induce discriminative representation for the target image segmentation task. Thus self-supervision's performance is still far from that of supervised pre-training. In this study, we overcome this limitation by incorporating a "mix-and-match" (M&M) tuning stage in the self-supervision pipeline. The proposed approach is readily pluggable to many self-supervision methods and does not use more annotated samples than the original process. Yet, it is capable of boosting the performance of target image segmentation task to surpass fully-supervised pre-trained counterpart. The improvement is made possible by better harnessing the limited pixel-wise annotations in the target dataset. Specifically, we first introduce the "mix" stage, which sparsely samples and mixes patches from the target set to reflect rich and diverse local patch statistics of target images. A "match" stage then forms a class-wise connected graph, which can be used to derive a strong triplet-based discriminative loss for fine-tuning the network. Our paradigm follows the standard practice in existing self-supervised studies and no extra data or label is required. With the proposed M&M approach, for the first time, a self-supervision method can achieve comparable or even better performance compared to its ImageNet pre-trained counterpart on both PASCAL VOC2012 dataset and CityScapes dataset.

연구 동기 및 목표

• 자기지도 학습과 완전히 지도 학습 전훈 간의 성능 격차를 해소하기 위해.
• 제한된 픽셀 단위 애너테이션을 보다 효과적으로 활용하여 자기지도 학습 모델의 분류 표현 학습을 향상시키기 위해.
• 추가적인 레이블이나 데이터 없이도 자기지도 학습 특징을 향상시키는 플러그 앤 플레이 파인튜닝 단계를 개발하기 위해.
• 자기지도 학습 전훈이 M&M 튜닝과 결합될 경우 ImageNet 전훈을 초월할 수 있음을 보여주기 위해.

제안 방법

• ‘믹스’ 단계에서는 타겟 데이터셋에서 무작위로 선택한 국소 이미지 패치들을 조합하여 다양한 패치 통계를 형성한다.
• ‘매치’ 단계에서는 믹스된 패치들로부터 클래스별로 연결된 그래프를 구축하여, 거리 학습을 위한 하드 트리플릿을 탐지한다.
• 그래프 상에서 트리플릿 기반의 분류 손실을 계산하여 네트워크를 파인튜닝함으로써 클래스 간 특징 분離도를 향상시킨다.
• 이 방법은 자기지도 프록시 전훈 이후, 기존의 파인튜닝 이전에 적용되며, 추가적인 애너테이션이 필요하지 않다.
• 이 방법은 다양한 자기지도 프록시 작업(예: 색상화, 조각 맞추기 등)과 백본 네트워크(예: AlexNet, VGG-16 등)와 호환된다.
• 그래프 크기는 조정 가능하여 성능과 학습 효율성 사이의 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 추가적인 애너테이션이 없이 자기지도 학습 전훈이 ImageNet-지도 학습 전훈과 경쟁 가능하게 만들 수 있는가?
• RQ2 타겟 데이터셋의 제한된 픽셀 단위 애너테이션을 어떻게 보다 효과적으로 활용하여 자기지도 학습 특징 학습을 향상시킬 수 있는가?
• RQ3 믹스 앤 매치 튜닝과 같은 다단계 최적화 전략이 표준 파인튜닝을 초월해 특징의 분류 가능성을 향상시키는가?
• RQ4 색상화와 같은 프록시 작업이 타겟 데이터 기반의 그래프 기반 거리 학습을 통해 효과적으로 개선되어 지도 학습 전훈의 성능 격차를 줄일 수 있는가?
• RQ5 그래프 크기와 패치 믹싱이 학습된 표현의 품질에 어떤 영향을 미치는가?

주요 결과

• PASCAL VOC2012에서 M&M 튜닝은 VGG-16를 사용해 색상화 전훈 시 mIoU를 38.4%에서 42.8%로 향상시켰으며, 랜덤 초기화의 48.0% mIoU를 초월하고 ImageNet 전훈의 64.2% mIoU에 가까워졌다.
• CityScapes에서는 M&M 튜닝이 색상화 전훈 시 mIoU를 57.5%에서 66.4%로 끌어올렸으며, ImageNet 전훈의 67.9% mIoU에 매우 가까워졌다.
• 랜덤 초기화 네트워크의 경우 M&M 튜닝으로 CityScapes에서 mIoU가 42.5%에서 49.1%로 향상되어 약한 초기화 상태에서도 강력한 성능 향상을 보였다.
• t-SNE 시각화 결과 M&M 튜닝이 클래스 간 특징 군집화를 크게 향상시켜 의미적으로 다른 클래스 간 분리도가 높아졌음을 확인했다.
• 더 큰 그래프 크기는 성능 향상을 가져왔지만 학습 시간을 증가시켜 정확도와 효율성 사이의 조정 가능한 트레이드오프임을 시사했다.
• 여러 벤치마크와 백본에서 최신 기술 수준의 성능를 기록하며, 다양한 프록시 작업과 데이터셋에서 효과적임을 입증했다.