[논문 리뷰] Unsupervised Scene Adaptation with Memory Regularization in vivo

Zhedong Zheng, Yi Yang|arXiv (Cornell University)|2019. 12. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 9

한 줄 요약

이 논문은 자기 내부 예측을 메모리로 활용하여 타겟 도메인에서의 예측 일관성 불일치를 줄이는, 비모수적 메모리 정규화 기법을 제안한다. 추가 파rameter 없이 주 분류기와 보조 분류기 간의 차이를 최소화함으로써, GTA5→Cityscapes에서 +11.1%, SYNTHIA→Cityscapes에서 +11.3%의 mIoU 향상을 이룩하였으며, 도메인 간 이식성 향상에도 유사한 성능 향상을 보였다.

ABSTRACT

We consider the unsupervised scene adaptation problem of learning from both labeled source data and unlabeled target data. Existing methods focus on minoring the inter-domain gap between the source and target domains. However, the intra-domain knowledge and inherent uncertainty learned by the network are under-explored. In this paper, we propose an orthogonal method, called memory regularization in vivo to exploit the intra-domain knowledge and regularize the model training. Specifically, we refer to the segmentation model itself as the memory module, and minor the discrepancy of the two classifiers, i.e., the primary classifier and the auxiliary classifier, to reduce the prediction inconsistency. Without extra parameters, the proposed method is complementary to the most existing domain adaptation methods and could generally improve the performance of existing methods. Albeit simple, we verify the effectiveness of memory regularization on two synthetic-to-real benchmarks: GTA5 -> Cityscapes and SYNTHIA -> Cityscapes, yielding +11.1% and +11.3% mIoU improvement over the baseline model, respectively. Besides, a similar +12.0% mIoU improvement is observed on the cross-city benchmark: Cityscapes -> Oxford RobotCar.

연구 동기 및 목표

• 정규화된 도메인 내 지식과 예측 불확실성의 미흡한 탐색 문제를 해결하기 위해, 의미 분할을 위한 비지도 도메인 적응에서의 도메인 내 지식과 불확실성 문제를 다루는 것.
• 동일 도메인 내 일관성 향상을 통해, 라벨이 없는 타겟 도메인에서 모델의 강인성과 성능을 향상시키는 것.
• 기존의 이중 도메인 정렬 기법과 보완 가능한 파rameter 없는 정규화 방법을 개발하는 것.
• 합성-실제 및 도시 간 이식성과 같은 다양한 도메인 간 일반화를 가능하게 하는 것.

제안 방법

• 동일한 입력에 대해 주 분류기와 보조 분류기를 사용하여 내부 메모리 모듈로 예측를 저장하고 비교한다.
• 같은 입력 샘플에서 두 분류기 간의 예측 불일치를 최소화하는 메모리 정규화 손실 $ L_{mr} $ 를 도입한다.
• 사전 훈련(Stage-I) 및 자기 훈련(Stage-II) 단계 모두에 정규화를 적용하여, 라벨이 없는 타겟 데이터에 대한 학습 안정성을 높인다.
• 기존 도메인 적응 프레임워크와 호환되며, 추가 파rameter나 외부 메모리 모듈이 필요하지 않다.
• 대부분의 손실과 함께, 적대적 손실, 분할 손실, 그리고 제안된 메모리 정규화 손실을 종합적으로 엔드 투 엔드로 훈련한다.
• 파라미터 $ \lambda_{mr} $ 는 정규화 강도를 제어하며, 실험 전반에서 $ \lambda_{mr} = 0.1 $ 이 가장 강인한 성능을 보였다.

실험 결과

연구 질문

• RQ1 도메인 내 예측 일관성을 활용하여 비지도 도메인 적응에서 의미 분할의 성능을 향상시킬 수 있는가?
• RQ2 모델의 내부 예측을 메모리 메커니즘으로 활용할 경우, 라벨이 없는 타겟 데이터의 불확실성이 감소하는가?
• RQ3 파라미터 없는 정규화 방법이 백본을 수정하거나 외부 모듈을 추가하지 않고도 성능 향상을 이룰 수 있는가?
• RQ4 제안된 방법은 합성-실제 및 도시 간 시나리오를 포함한 다양한 적응 벤치마크에서 얼마나 효과적인가?

주요 결과

• GTA5→Cityscapes 벤치마크에서 기준 모델 대비 +11.1%의 mIoU 향상을 달성하였다.
• SYNTHIA→Cityscapes 벤치마크에서 +11.3%의 mIoU 향상을 달성하여 강력한 일반화 능력을 입증하였다.
• Cityscapes→Oxford RobotCar 도시 간 벤치마크에서 +12.0%의 mIoU 향상을 달성하여 도메인 이동에 대한 강인성을 보였다.
• 파라미터 $ \lambda_{mr} $ 에 대해 강인하며, 최적의 성능은 $ \lambda_{mr} = 0.1 $ 에서 나타났다.
• 메모리 정규화는 Stage-II 자기 훈련에서 성능을 크게 향상시켰으며, 허위 레이블만을 사용해 훈련한 모델보다 뛰어났다.
• 제거 실험을 통해, 메모리 정규화만으로도 Stage-I에서 mIoU가 37.23%에서 45.46%로 향상됨을 확인하여, 그 내재적 가치를 입증하였다.