[논문 리뷰] FCNs in the Wild: Pixel-level Adversarial and Constraint-based Adaptation

Judy Hoffman, Dequan Wang외 2명|arXiv (Cornell University)|2016. 12. 08.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 692

한 줄 요약

완전 합성곱 신경망(FCN)을 활용한 시맨틱 세분화에 대한 첫 번째 비지도 도메인 적응 방법을 소개하고, 전역 도메인 적대 학습과 카테고리별 제약 학습을 결합하여 라벨이 있는 소스 도메인에서 라벨이 없는 대상 도메인으로 전이합니다.

ABSTRACT

Fully convolutional models for dense prediction have proven successful for a wide range of visual tasks. Such models perform well in a supervised setting, but performance can be surprisingly poor under domain shifts that appear mild to a human observer. For example, training on one city and testing on another in a different geographic region and/or weather condition may result in significantly degraded performance due to pixel-level distribution shift. In this paper, we introduce the first domain adaptive semantic segmentation method, proposing an unsupervised adversarial approach to pixel prediction problems. Our method consists of both global and category specific adaptation techniques. Global domain alignment is performed using a novel semantic segmentation network with fully convolutional domain adversarial learning. This initially adapted space then enables category specific adaptation through a generalization of constrained weak learning, with explicit transfer of the spatial layout from the source to the target domains. Our approach outperforms baselines across different settings on multiple large-scale datasets, including adapting across various real city environments, different synthetic sub-domains, from simulated to real environments, and on a novel large-scale dash-cam dataset.

연구 동기 및 목표

• 도메인 시프트 하에서 시맨틱 세분화를 촉진하고 대상 어노테이션 의존성을 줄인다.
• 전역 및 카테고리별 시프트를 처리하는 FCN용 픽셀 수준 도메인 적응 프레임워크를 개발한다.
• 대상 도메인으로의 전달을 위한 소스-대상 표현 정렬과 공간 배치 전달을 위한 적대적 학습을 활용한다.
• 합성-실제, 교차 계절, 도시간 데이터셋에서 접근 방식을 평가하고 새로운 BDDS 데이터셋을 도입한다.

제안 방법

• 수용 필드에 해당하는 영역 기반 인스턴스에 의해 픽셀 수준 도메인 적대 학습으로 전역 도메인 정렬을 수행한다.
• 소스와 대상 표현 간의 도메인 차이를 최소화하기 위해 도메인 분류기와 특징 공간의 교대 최적화를 수행한다.
• 제약된 다중 인스턴스 학습 objective를 통해 대상 도메인으로 소스의 장면 레이아웃 통계를 전달하는 카테고리별 적응.
• 전제 supervised 소스 세분화 손실과 전역 도메인 정렬 및 제약 MIL 손실을 결합한 공동 최적화식의 도출.
• 분류 및 적응의 백본으로 VGG16 기반의 팽창형 FCN 프런트를 사용한다.
• 적응 중 소스에서 파생된 클래스 크기 제약을 강제하기 위해 대상 도메인에서 이미지 수준 레이블 예측을 활용한다.

실험 결과

연구 질문

• RQ1 대상 레이블이 없을 때 비지도 도메인 적응이 시맨틱 세분화를 개선할 수 있는가?
• RQ2 전역 도메인 정렬과 카테고리별, 레이아웃 의존 제약을 결합하는 것이 두 구성요소를 각각 단독으로 사용하는 것보다 더 나은가?
• RQ3 이 방법은 driving 시나리오에서 합성-실제, 계절, 도시 간으로 얼마나 잘 전이되는가?
• RQ4 공간 배치 통계를 전이하는 것이 도메인 간 세분화 성능에 미치는 영향은?

주요 결과

• 전역 도메인 정렬(GA)은 큰 변화에서 비적응 기준선 대비 상당한 mIoU 증가를 제공한다(합성-실제, GTA5/SYNTHIA에서 Cityscapes로).
• 카테고리별 적응(CA)은 대상에서 소스와 같은 공간 배치를 강제하여 추가 이득을 가져오며, 특히 특정 클래스에서 그렇다.
• GA + CA는 여러 교차 도메인 설정에서 GA만을 능가하며 전역 정합성과 레이아웃 전달의 결합 가치를 보여준다.
• 계절 전반에 걸쳐 대부분의 클래스 카테고리에서 평균 약 3pp의 mIoU 개선을 달성했다.
• 도시 간 Cityscapes 내 적응은 주로 도메인 적대 학습에서 상당한 이득을 보여주며, CA로 인한 일부 카테고리 추가 이득이 있다.
• BDDS 도입, 대규모 대시캠 데이터 세트로 적응 이후의 질적 개선을 보여준다.