[논문 리뷰] Bootstrapping Semantic Segmentation with Regional Contrast

Shikun Liu, Shuaifeng Zhi외 2명|arXiv (Cornell University)|2021. 04. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 69

한 줄 요약

ReCo는 활성 샘플링과 함께 픽셀 수준 대조 손실을 도입하여 감독 학습과 반감독 학습 모두에서 의미론적 분할을 개선하고, 경계가 더 뚜렷하고 라벨 효율이 뛰어나며, 특히 라벨이 매우 적은 경우에 강함을 달성한다.

ABSTRACT

We present ReCo, a contrastive learning framework designed at a regional level to assist learning in semantic segmentation. ReCo performs semi-supervised or supervised pixel-level contrastive learning on a sparse set of hard negative pixels, with minimal additional memory footprint. ReCo is easy to implement, being built on top of off-the-shelf segmentation networks, and consistently improves performance in both semi-supervised and supervised semantic segmentation methods, achieving smoother segmentation boundaries and faster convergence. The strongest effect is in semi-supervised learning with very few labels. With ReCo, we achieve high-quality semantic segmentation models, requiring only 5 examples of each semantic class. Code is available at https://github.com/lorenmt/reco.

연구 동기 및 목표

• 지역적 대비와 어려운 픽셀을 활용하여 의미론적 분할에서 주석 비용을 줄이는 것을 목표로 한다.
• 적응형 샘플링을 갖춘 픽셀 수준 대조 손실인 ReCo를 도입하여 클래스 간 관계를 학습한다.
• 표준 데이터셋에서 ReCo가 반지도 및 지도 학습 설정 모두의 성능을 향상시킨다는 것을 입증한다.
• ReCo가 수렴 속도를 높이고 객체 경계를 더 선명하게 만든다는 것을 보여준다.

제안 방법

• 학습을 위해 인코더에 픽셀 수준 표현 헤드를 부착한다(추론 시에는 사용하지 않음).
• 정규화된 점곗곱 유사도를 사용하여 쿼리 픽셀 표현을 해당 클래스 평균(양수)으로 더 가깝게 만들고 다른 클래스와는 멀어지도록 하는 ReCo 손실을 정의한다.
• 배치 내 각 클래스의 평균 표현으로 양수를 계산한다; 음수는 학습 가능한 클래스 관계 그래프 G를 사용해 다른 클래스에서 샘플링한다.
• 예측 신뢰도가 낮은 픽셀(하드 쿼리)을 선택하여 쿼리를 적극적으로 샘플링한다.
• 배치별 쌍방향 클래스 관계 그래프 G를 구성하고 클래스 관계에 대한 소프트맥스에서 음수를 샘플링하여 키를 적극적으로 샘플링한다.
• 결합 손실로 학습: L_total = L_supervised + L_reco (반감도 설정에서 Mean Teacher를 통해 L_unsupervised 포함).

실험 결과

연구 질문

• RQ1 제한된 라벨하에서 영역 중심 대조 손실이 픽셀 수준의 분할을 개선할 수 있는가?
• RQ2 하드 쿼리와 하드 음수의 적응적 샘플링이 분할 성능과 학습 효율에 어떤 영향을 미치는가?
• RQ3 다양한 백본과 데이터셋에서 ReCo가 일관되게 반지도 분할을 개선하는가?
• RQ4 분할 출력에서 경계 선명도와 클래스 혼동에 대한 ReCo의 영향은 무엇인가?

주요 결과

• ReCo는 Cityscapes, Pascal VOC, SUN RGB-D 전반에 걸쳐 반지도 및 지도 분할 방법의 성능을 일관되게 향상시킨다.
• 가장 큰 향상은 아주 적은 라벨의 반지도 설정에서 나타나며, 일부 경우 ClassMix와 함께 사용할 때 상대적으로 5~10% 개선에 이른다.
• ReCo는 객체 경계가 더 선명하고 고주파 영역을 더 잘 처리하며, 특히 클래스 경계 근처 및 작은 객체에서 강점을 보인다.
• 하드 쿼리의 적극적 샘플링과 특히 하드 음수(배치별 클래스 관계 그래프에 의해 안내)가 의미 있는 이점을 제공하며 무작위 샘플링보다 더 효과적이다.
• ReCo는 반지도 벤치마크에서 경쟁력 있는 혹은 최첨단 결과를 달성한다(예: 더 적은 라벨 예제로 PseudoSeg 벤치마크에 대응하거나 능가).
• 이 접근법은 구현이 가볍고(학습 중에만 표현 헤드를 추가) 추가 메모리 부담이 최소하다.