[논문 리뷰] Penalizing Top Performers: Conservative Loss for Semantic Segmentation Adaptation

Xinge Zhu, Hui Zhou외 3명|arXiv (Cornell University)|2018. 09. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 15

한 줄 요약

이 논문은 합성 이미지에서 실세계 이미지로의 일반화를 향상시키기 위해 예측에 대한 극단적 확신을 방지하는 새로운 적대적 손실인 Conservative Loss를 제안한다. 경사 하강법을 사용해 어려운 예제를 최적화하고, 고신뢰도 예측에 대해 경사 상승을 적용함으로써, 추론 비용을 추가하지 않고도 Synthia-to-Cityscapes에서 9.3 mIoU 향상을 달성하며, 최신 기술 수준의 성능을 확보한다.

ABSTRACT

Due to the expensive and time-consuming annotations (e.g., segmentation) for real-world images, recent works in computer vision resort to synthetic data. However, the performance on the real image often drops significantly because of the domain shift between the synthetic data and the real images. In this setting, domain adaptation brings an appealing option. The effective approaches of domain adaptation shape the representations that (1) are discriminative for the main task and (2) have good generalization capability for domain shift. To this end, we propose a novel loss function, i.e., Conservative Loss, which penalizes the extreme good and bad cases while encouraging the moderate examples. More specifically, it enables the network to learn features that are discriminative by gradient descent and are invariant to the change of domains via gradient ascend method. Extensive experiments on synthetic to real segmentation adaptation show our proposed method achieves state of the art results. Ablation studies give more insights into properties of the Conservative Loss. Exploratory experiments and discussion demonstrate that our Conservative Loss has good flexibility rather than restricting an exact form.

연구 동기 및 목표

• 합성 데이터에서 학습하고 실세계 이미지에서 테스트할 때 발생하는 도메인 이동 문제를 해결한다.
• 추론 비용을 증가시키지 않고도 모델의 실세계 도메인으로의 일반화 성능을 향상시킨다.
• 원천 도메인에서의 분류 능력과 도메인 이동에 대한 불변성 사이의 균형을 이루는 손실 함수를 개발한다.
• 기존의 분류 기반 방법이 실패하는 조밀한 예측 작업에서 효과적인 도메인 적응을 가능하게 한다.
• 고정된 함수 형태에 의존하지 않고도 핵심적인 불변성 및 분류 능력을 유지하는 유연한 손실 메커니즘을 설계한다.

제안 방법

• 낮은 신뢰도 예측에 대해 경사 하강법, 높은 신뢰도 예측에 대해 경사 상승법을 적용하는 미분 가능한 손실인 Conservative Loss를 제안한다.
• 조각 함수를 사용해 임계값을 초과하는 예측 확률(p_t > threshold)에 대해 음의 기울기를 할당함으로써 극단적 확신을 방지하고, 원천 도메인에 대한 과적합을 억제한다.
• 도메인 불변 특징 표현을 강제하기 위해 재구성 판별기와 함께 생성적 적대적 네트워크(GAN)를 통합한다.
• 두 단계 학습 프레임워크를 적용: 먼저 원천 분할 성능을 최적화하고, 그 다음 도메인 불변성과 분할 정확도를 동시에 최적화한다.
• 손실의 스케일링을 위해 균형 인자 λ를 사용하여 분류 능력과 불변성 사이의 트레이드오프를 조정할 수 있도록 한다.
• 추론 시 추가적인 계산 부담을 유발하지 않도록 손실를 구현함으로써 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 극단적 예측을 방지하는 손실 함수가 도메인 일반화에 도움이 될 수 있는가?
• RQ2 단일 손실 함수 내에서 경사 하강법과 경사 상승법을 조합함으로써 모델의 도메인 이동에 대한 강건성은 어떻게 영향을 받는가?
• RQ3 Conservative Loss는 Cross Entropy나 Focal Loss와 같은 기존의 손실 함수보다 합성 이미지에서 실세계 이미지로의 분할 적응에서 더 우수한 성능을 보일 수 있는가?
• RQ4 손실의 정확한 함수 형태가 성능에 얼마나 중요한가, 아니면 유사한 성질을 가진 다른 동차 함수로도 유사한 성능를 달성할 수 있는가?
• RQ5 재학습 없이도 다양한 아키텍처와 데이터셋에 손실을 민감하게 적용할 수 있는가?

주요 결과

• Conservative Loss는 GTAV-to-Cityscapes 적응 벤치마크에서 38.1 mIoU를 달성하여 이전 최신 기술 수준보다 9.3점 향상되었다.
• Cross Entropy(34.4 mIoU)와 Focal Loss(35.8 mIoU)를 모두 초월하여 도메인 이동 하에서 뛰어난 일반화 성능을 입증했다.
• 제거 실험을 통해 고신뢰도 예측에 대한 방지 조치가 타겟 도메인 성능 향상에 핵심적임을 확인했다.
• 유사한 성질을 가진 동차 손실(예: 세차 함수)도 유사한 성능를 기록함으로써, 손실의 정확한 형태가 필수적인 것은 아님을 시사했다.
• 손실은 다양한 아키텍처와 데이터셋에서 효과적이며, 넓은 적용 가능성을 보였다.
• 시각화 및 분석 결과, 모델이 원천 도메인에서 분류 능력이 뛰어나고 도메인 이동에 강건한 특징을 학습하는 것으로 나타났다.