[논문 리뷰] Pin the Memory: Learning to Generalize Semantic Segmentation

Jin Kim, Jiyoung Lee외 3명|ArXiv.org|2022. 04. 07.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 영역 일반화를 위한 메모리 유도 메타학습 프레임워크인 Pin the Memory를 제안한다. 메모리 모듈을 통해 도메인에 영향을 받지 않는 분류 지식을 학습하고, 메모리 분산 손실과 특징 공명 손실을 최적화함으로써, 재학습 없이도 미사용 도메인에서 최신 기술 성능을 달성하며, 기존의 도메인 일반화 방법을 능가하고 다중 소스 도메인 적응 성능에 도달한다.

ABSTRACT

The rise of deep neural networks has led to several breakthroughs for semantic segmentation. In spite of this, a model trained on source domain often fails to work properly in new challenging domains, that is directly concerned with the generalization capability of the model. In this paper, we present a novel memory-guided domain generalization method for semantic segmentation based on meta-learning framework. Especially, our method abstracts the conceptual knowledge of semantic classes into categorical memory which is constant beyond the domains. Upon the meta-learning concept, we repeatedly train memory-guided networks and simulate virtual test to 1) learn how to memorize a domain-agnostic and distinct information of classes and 2) offer an externally settled memory as a class-guidance to reduce the ambiguity of representation in the test data of arbitrary unseen domain. To this end, we also propose memory divergence and feature cohesion losses, which encourage to learn memory reading and update processes for category-aware domain generalization. Extensive experiments for semantic segmentation demonstrate the superior generalization capability of our method over state-of-the-art works on various benchmarks.

연구 동기 및 목표

• 분포 변화로 인해 모델이 미사용 도메인에서 실패하는 도메인 이동 문제를 해결하기 위해.
• 분류별 도메인에 영향을 받지 않는 지식을 개별 클래스의 메모리로 추상화하여 일반화 성능을 향상시키기 위해.
• 재학습이나 피팅 없이도 임의의 미사용 도메인에 대해 제로샷 적응을 가능하게 하기 위해.
• 메모리 유도 메타학습과 보완적인 손실 함수를 통해 표현의 강건성을 향상시키기 위해.

제안 방법

• 이 방법은 원천 도메인 데이터를 메타학습 및 메타테스트 세트로 나누어 학습 중 도메인 이동를 시뮬레이션하는 메타학습 프레임워크를 사용한다.
• 학습 가능한 메모리 모듈이 도메인에 영향을 받지 않는 세그멘테이션 클래스의 프로토타입을 저장하며, 이는 미사용 도메인에서 추론 시 외부 가이드 역할을 한다.
• 메타테스트 동안 전용 네트워크를 통해 메모리가 업데이트되어, 모델이 강건한 메모리 읽기 및 업데이트 전략을 학습할 수 있도록 한다.
• 두 가지 새로운 손실 함수를 도입한다: 메모리 분산 손실은 메모리의 분류 가능성을 향상시키고, 특징 공명 손실은 도메인 불변 특징을 촉진한다.
• 프레임워크는 에피소드 기반 학습을 사용하여, 미사용 도메인 조건을 시뮬레이션하고, 데이터 분포가 불일치하는 조건에서 인코더와 메모리 업데이트 네트워크를 함께 훈련한다.
• 추론 시, 사전에 학습된 메모리를 사용하여 특징 표현을 유도함으로써, 미사용 도메인에서의 모호성을 줄인다.

Figure 1 : The illustration of our memory-guided meta-learning algorithm for domain generalization. Our method learns how to memorize domain-agnostic categorical knowledge that can provide an external guide to the test data in unseen target domain.

실험 결과

연구 질문

• RQ1 도메인에 영향을 받지 않는 분류 지식를 저장하는 메모리 모듈이, 미사용 도메인에서의 세그멘테이션 일반화 성능을 향상시킬 수 있는가?
• RQ2 시뮬레이션된 도메인 이동을 통한 메타학습이, 메모리 유도 특징 표현의 강건성을 어떻게 향상시키는가?
• RQ3 메모리 분산 손실과 특징 공명 손실이 도메인 일반화 성능에 기여하는 바는 무엇인가?
• RQ4 메모리 유도 메타학습은 타겟 도메인 데이터에 접근할 수 없음에도 불구하고, 다중 소스 도메인 적응 성능과 비슷한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 도메인 일반화 설정에서 Cityscapes, COCO-Stuff, BDD100K를 포함한 여러 벤치마크에서 최신 기술 성능을 달성한다.
• 메모리 분산 손실과 특징 공명 손실의 조합으로, Cityscapes에서 MLDG 대비 2.1% mIoU 향상과 COCO-Stuff에서 1.8% 향상을 달성한다.
• 모든 데이터셋에서 IBN-Net, RobustNet, MLDG와 같은 강력한 베이스라인을 능가하여 뛰어난 일반화 능력을 입증한다.
• t-SNE 시각화 결과, 메모리 유도 접근법을 사용할 경우, 미사용 도메인의 특징들이 더 잘 분리되고 모호성이 감소함을 확인할 수 있다.
• 경쟁적인 추론 속도(13.56ms)를 유지하면서도 파라미터 수(45.22M)와 FLOPs(277.69)의 증가가 작아, 비용 효율성이 뛰어나다.
• 제거 실험 결과, 메모리 업데이트와 메타학습 모두 필수적이며, 둘 중 하나라도 제거하면 성능이 크게 떨어진다.

Figure 2 : Overall training process of our method, consisting of domain split, meta-training and meta-testing steps for every iteration.