[논문 리뷰] Phase Consistent Ecological Domain Adaptation

Yanchao Yang, Dong Lao외 2명|arXiv (Cornell University)|2020. 04. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 4

한 줄 요약

이 논문은 영상 간 번역에서 위상 일관성을 강제하고 조건부 사전 네트워크(CPN)를 통해 생태 통계를 활용함으로써, 세분화에 대한 위상 일관성 생태 도메인 적응(PCEDA)라는 새로운 비지도 도메 적응 프레임워크를 제안한다. 이 두 가지 사전 지식을 딥 러닝 파이프라인에 통합함으로써, PCEDA는 GTA5에서 Cityscapes, Synthia에서 Cityscapes로의 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 이는 이전 방법 대비 최대 8.0% 향상된 결과이다.

ABSTRACT

We introduce two criteria to regularize the optimization involved in learning a classifier in a domain where no annotated data are available, leveraging annotated data in a different domain, a problem known as unsupervised domain adaptation. We focus on the task of semantic segmentation, where annotated synthetic data are aplenty, but annotating real data is laborious. The first criterion, inspired by visual psychophysics, is that the map between the two image domains be phase-preserving. This restricts the set of possible learned maps, while enabling enough flexibility to transfer semantic information. The second criterion aims to leverage ecological statistics, or regularities in the scene which are manifest in any image of it, regardless of the characteristics of the illuminant or the imaging sensor. It is implemented using a deep neural network that scores the likelihood of each possible segmentation given a single un-annotated image. Incorporating these two priors in a standard domain adaptation framework improves performance across the board in the most common unsupervised domain adaptation benchmarks for semantic segmentation.

연구 동기 및 목표

• 밀도 있는 애너테이션을 얻는 데 비용이 많이 들기 때문에, 풍부한 합성 애너테이션 데이터를 활용하여 실세계 영상에서의 세분화 문제를 해결하기 위해.
• 특징 또는 영상 분포 정렬에만 기반하지 않는 도메인 불변 사전 지식을 통합하여 비지도 도메 적응(UDA)을 통한 세분화 성능을 향상시키기 위해.
• 시각 심리물리학에 기반하여 푸리에 도메인에서 위상 유지 조건을 통해 도메인 번역 중 세분화 일관성을 보장하기 위해.
• 애너테이션이 없는 타겟 이미지에서 장면 수준의 규칙성(생태 통계)을 모델링하여 타당한 세분화 가설을 안내하기 위해.
• 두 사전 지식을 종합적으로 통합하여 도메인 간 이동이 발생하는 세분화 과제에서 일반화 능력을 향상시키는 종단 간 가역적 프레임워크에 통합하기 위해.

제안 방법

• 도메인 번역 중 푸리에 변환의 위상 성분을 유지함으로써 세분화 내용이 유지되는 위상 일관성 영상 번역 모듈을 도입한다.
• 자연 장면의 생태 통계에 기반하여 세분화 가능성의 가능도를 평가하기 위해 장면 호환성과 관련된 사전 지식을 모델링하는 조건부 사전 네트워크(CPN)를 활용한다.
• 학습 중에 CPN을 미분 가능한 사전 지식으로 사용하여, 지도 학습 없이도 타겟 도메인의 세분화 예측을 정규화한다.
• 위상 일관성과 생태 사전 지식 정규화를 통합 최적화 프레임워크 내에 통합하여 특징 공간 및 출력 공간의 정렬을 향상시킨다.
• 표준 UDA 설정 하에 표준 세분화 백본(예: ResNet-101 기반의 DeepLab-V2, VGG-16, DRN-26)을 사용하여 종단 간으로 적용한다.
• 학습 중에 CPN를 통합할 경우 배치당 약 1.5초의 오버헤드가 발생하지만, 추론 시에는 비용이 없으며, 효율적인 구현이 가능하다.

실험 결과

연구 질문

• RQ1 영상 간 번역에서 위상 일관성을 강제하면 비지도 도메 적응에서 세분화 성능 향상에 기여하는가?
• RQ2 공간적 규칙성과 형태 타당성과 같은 생태 통계를 데이터 의존적 사전 지식으로 효과적으로 모델링하여 애너테이션이 없을 경우 세분화를 안내할 수 있는가?
• RQ3 위상 일관성과 생태 사전 지식은 개별적으로나 병합하여 적용했을 때 세분화 도메인 적응 향상에 어떤 영향을 미치는가?
• RQ4 이러한 사전 지식들은 다양한 백본 아키텍처와 도메인 이동 시나리오(예: GTA5→Cityscapes, Synthia→Cityscapes)에 일반화 가능한가?
• RQ5 이러한 사전 지식을 표준 UDA 파이프라인에 통합할 경우 계산 비용은 얼마나 되는가?

주요 결과

• PCEDA는 GTA5-to-Cityscapes 벤치마크에서 ResNet-101 기반으로 두 번째로 우수한 방법 대비 4.1% mIoU 향상을 달성하여 최신 기술 수준의 성능을 확보하였다.
• Synthia-to-Cityscapes 벤치마크에서는 ResNet-101 기반으로 두 번째로 뛰어난 방법 대비 4.3% mIoU 향상되었으며, VGG-16 기반으로는 5.4% 향상되었다.
• 제거 실험 결과, 위상 일관성과 CPN 사전 지식 모두 성능 향상에 기여하는 것으로 확인되었으며, 전체 모델은 각각의 구성 요소만 사용한 경우보다 뛰어난 성능을 보였다.
• 정성적 결과에서는 PCEDA가 최신 기술 수준의 방법 대비 더 공간적으로 규칙적이고 장면에 일관된 세분화 결과를 생성하는 것으로 나타났다.
• 위상 일관성 강제의 계산 오버헤드는 극히 미미하며(1024×512 영상당 0.001초 미만), CPN는 학습 중에 배치당 약 1.5초의 오버헤드만 발생하며, 추론 시에는 비용이 없어진다.
• 모든 평가된 세분화 카테고리에서 mIoU와 fwIoU가 일관되게 향상되어, 클래스별 도메인 이동에 대한 강건성을 보였다.