[논문 리뷰] Universal Semi-Supervised Semantic Segmentation

Tarun Kalluri, Girish Varma외 2명|arXiv (Cornell University)|2018. 11. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 74인용 수 14

한 줄 요약

이 논문은 한정된 레이블 데이터와 풍부한 비레이블 데이터를 활용하여 여러 도메인에서 단일 모델을 훈련시키는 유니버설 세미서포티드 세그멘테이션 프레임워크를 제안한다. 비레이블 데이터를 활용해 레이블 공간이 겹치지 않는 도메인 간 특징을 피그먼트 인식 엔트로피 정규화를 통해 정렬한다. 이 방법은 Cityscapes, SUN, IDD와 같은 다양한 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 도메인당 레이블 예제가 1,500개뿐이어도 지도학습 및 공동 훈련 기반 모델을 능가한다.

ABSTRACT

In recent years, the need for semantic segmentation has arisen across several different applications and environments. However, the expense and redundancy of annotation often limits the quantity of labels available for training in any domain, while deployment is easier if a single model works well across domains. In this paper, we pose the novel problem of universal semi-supervised semantic segmentation and propose a solution framework, to meet the dual needs of lower annotation and deployment costs. In contrast to counterpoints such as fine tuning, joint training or unsupervised domain adaptation, universal semi-supervised segmentation ensures that across all domains: (i) a single model is deployed, (ii) unlabeled data is used, (iii) performance is improved, (iv) only a few labels are needed and (v) label spaces may differ. To address this, we minimize supervised as well as within and cross-domain unsupervised losses, introducing a novel feature alignment objective based on pixel-aware entropy regularization for the latter. We demonstrate quantitative advantages over other approaches on several combinations of segmentation datasets across different geographies (Germany, England, India) and environments (outdoors, indoors), as well as qualitative insights on the aligned representations.

연구 동기 및 목표

• 외부 주행 환경과 실내 환경과 같은 다양한 도메인에서 세그멘테이션 데이터를 레이블링하는 데 드는 높은 비용과 중복을 해결하기 위해.
• 레이블 공간 겹침을 가정하지 않고도 최소한의 레이블 데이터로 다양한 도메인에 일반화 가능한 통합 모델을 개발하기 위해.
• 각 도메인의 대규모 비레이블 데이터를 활용하여 도메인별 맞춤 보정이나 별도의 모델이 필요 없이 성능을 향상시키기 위해.
• 실세계 세그멘테이션 응용에서 도메인 이동, 치명적 망각, 레이블 공간 불일치 등의 기존 방법의 한계를 극복하기 위해.

제안 방법

• 소수의 레이블 데이터에 대한 지도학습 손실과 비레이블 데이터에 대한 비지도 엔트로피 정규화를 조합하여, 여러 데이터셋을 동시에 훈련하는 단일 딥 네ural 네트워크를 학습한다.
• 픽셀 단위 엔트로피 최소화 기반의 새로운 특징 정렬 목표를 도입하여 도메인 간 일관된 예측을 유도한다.
• 에코더 특징 맵과 클래스 프로토타입(레이블 임베딩) 간 유사도 점수를 계산하고, 이 분포의 엔트로피를 최소화하여 예측을 정밀하게 조정한다.
• 레이블 세트가 겹치지 않는 경우에도 도메인 내 및 도메인 간 엔트로피 최소화를 적용하여 서로 다른 데이터셋 간 특징을 정렬한다.
• 밀도 예측 작업에 적합한 고해상도 특징을 추출하기 위해 Dilated Residual Networks와 ResNet-50 백본을 사용한다.
• 지도학습 및 비지도 손실을 조합한 다중 작업 학습 목표를 사용하여 모델을 종합적으로 최적화한다.

실험 결과

연구 질문

• RQ1 레이블 공간이 겹치지 않는 여러 세그멘테이션 데이터셋에서 소수의 레이블 데이터만을 사용해 단일 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 엔트로피 기반 특징 정렬은 조명, 날씨, 시나리오 콘텐츠가 다를 수 있는 도메인 이동 상황에서 일반화 성능를 어떻게 향상시키는가?
• RQ3 다양한 도메인의 비레이블 데이터는 지도학습 또는 공동 훈련 기반 모델 대비 성능 향상에 어느 정도 기여하는가?
• RQ4 레이블이 의미적으로 유사하지만 정확히 일치하지 않는 경우에도 엔트로피 정규화를 활용한 도메인 간 특징 정렬이 더 나은 표현 학습을 이끌어내는가?

주요 결과

• 모델은 도메인당 레이블 예제가 1,500개뿐인 유니버설 세그멘테이션 벤치마크에서 50.52% mIoU를 달성하며, 기준 모델인 Univ-basic(44.78% mIoU)을 능가한다.
• Cityscapes 및 SUN 데이터셋에서 각각 57.91% 및 43.12% mIoU를 기록하여 공동 훈련 기반 모델을 초월하며 강력한 도메인 간 전이 성능를 입증한다.
• SUN-RGBD 훈련 데이터의 28%만 사용하고 합성 데이터를 사용하지 않았음에도 불구하고, 5.3k개의 레이블 예제와 합성 RGB-깊이 데이터를 사용한 SceneNet의 보고된 mIoU의 88%를 달성한다.
• t-SNE 시각화 결과, 'Road'와 'Floor'와 같이 의미적으로 유사한 클래스들이 비록 레이블 공간이 겹치지 않더라도 도메인 간 특징 공간에서 일관되게 정렬되어 있음을 확인한다.
• 모델은 예측 엔트로피를 도메인 간으로 크게 감소시켜, 새로운 도메인에서의 예측에 대해 더 높은 신뢰도와 일관성을 보여준다.
• 레이블 데이터가 극히 적은 상황에서 엔트로피 최소화는 적대적 손실 기반 방법보다 성능이 뛰어나며, 특히 지도학습이 제한된 환경에서 유의미한 성능 향상을 이룬다.