[논문 리뷰] S4T: Source-free domain adaptation for semantic segmentation via self-supervised selective self-training.

Viraj Prabhu, Shivam Khare외 2명|arXiv (Cornell University)|2021. 07. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 68인용 수 14

한 줄 요약

S4T는 레이블이 없는 타겟 데이터에 대해 모델의 일반화 능력을 향상시키기 위해 자기지도적 선택적 자기학습을 사용하는 소스 프리 도메인 어댑테이션 방법을 제안한다. 다양한 증강된 시각 간 예측 일관성을 활용하고 신뢰도 점수를 통해 신뢰할 만한 예측과 신뢰할 수 없는 예측을 구분함으로써, 불확실한 픽셀에 대해 선택적 보간을 사용한 편가속 레이블링을 적용하여 단일 어댑테이션 에포크 동안 세 가지 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

Most modern approaches for domain adaptive semantic segmentation rely on continued access to source data during adaptation, which may be infeasible due to computational or privacy constraints. We focus on source-free domain adaptation for semantic segmentation, wherein a source model must adapt itself to a new target domain given only unlabeled target data. We propose Self-Supervised Selective Self-Training (S4T), a source-free adaptation algorithm that first uses the model's pixel-level predictive consistency across diverse views of each target image along with model confidence to classify pixel predictions as either reliable or unreliable. Next, the model is self-trained, using predicted pseudolabels for reliable predictions and pseudolabels inferred via a selective interpolation strategy for unreliable ones. S4T matches or improves upon the state-of-the-art in source-free adaptation on 3 standard benchmarks for semantic segmentation within a single epoch of adaptation.

연구 동기 및 목표

• 어댑테이션 중 소스 데이터가 이용 불가능할 때 도메인 시프트 문제를 해결하기 위해.
• 사전 학습된 모델이 레이블이 없는 타겟 데이터만을 사용하여 새로운 타겟 도메인에 적응할 수 있는 방법을 개발하기 위해.
• 소스 데이터에 접근할 필요 없이 어댑테이션 성능을 향상시키기 위해, 기밀 보장 및 계산 자원 제약을 초월하기 위해.

제안 방법

• 이 방법은 먼저 각 타겟 이미지의 여러 증강된 시각 간 픽셀 수준의 예측 일관성을 계산하여 예측의 신뢰도를 평가한다.
• 모델의 신뢰도 점수를 사용하여 신뢰할 만한 예측과 신뢰할 수 없는 예측을 추가로 구분한다.
• 신뢰할 만한 예측은 편가속 레이블로 사용되어 자기학습에 활용되며, 신뢰할 수 없는 예측은 선택적 보간 전략을 통해 더 견고한 편가속 레이블을 생성한다.
• 선택적 보간 전략은 다수의 시각에서의 예측을 조합하여 불확실한 픽셀에 대해 더 정확한 편가속 레이블을 추론한다.
• 단일 어댑테이션 에포크 동안 신뢰할 만한 편가속 레이블과 보간된 편가속 레이블을 모두 사용하여 모델을 종합적으로 미세조정한다.
• 이 방법은 자기지도 기반이며, 어댑테이션 중에 소스 데이터를 전혀 사용하지 않고 레이블이 없는 타겟 데이터에만 의존한다.

실험 결과

연구 질문

• RQ1 데이터 증강 간 예측 일관성은 소스 프리 도메인 어댑테이션에서 편가속 레이블의 품질을 향상시킬 수 있는가?
• RQ2 예측 일관성과 모델 신뢰도를 효과적으로 조합하여 신뢰할 만한 예측을 식별할 수 있는가?
• RQ3 신뢰할 수 없는 예측에 대해 편가속 레이블을 선택적으로 보간하는 것이 소스 프리 환경에서 표준 자기학습보다 우월한가?
• RQ4 제안된 방법은 단일 어댑테이션 에포크로 표준 벤치마크에서 최신 기술 성능을 달성하는가?
• RQ5 소스 데이터 접근을 제거함으로써 의미 분할에서 어댑테이션 성능에 어떤 영향을 미치는가?

주요 결과

• S4T는 소스 프리 의미 분할을 위한 세 가지 표준 벤치마크에서 최신 기술 성능을 달성한다.
• 단일 어댑테이션 에포크만을 사용하여 모든 벤치마크에서 이전 최신 기술 성능과 동일하거나 이를 초월한다.
• 예측 일관성과 신뢰도의 활용은 정확한 신뢰할 만한 및 신뢰할 수 없는 예측 식별을 가능하게 한다.
• 신뢰할 수 없는 영역에 대한 편가속 레이블의 선택적 보간은 모델의 견고성과 성능을 향상시킨다.
• 소스 데이터에 접근할 필요 없이도 강력한 일반화 성능을 보이며, 기밀 보장 및 계산 자원 제약 조건을 충족한다.