[논문 리뷰] ACE: Adapting to Changing Environments for Semantic Segmentation

Zuxuan Wu, Xin Wang외 3명|arXiv (Cornell University)|2019. 04. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 62인용 수 13

한 줄 요약

ACE는 시맨틱 세그멘테이션을 위한 수명 주기 학습 프레임워크로, 픽셀 수준의 스타일 전이를 통해 레이블이 부여된 훈련 데이터를 합성함으로써 환경 분포의 변화에 적응한다. 동시에 기존에 학습된 작업의 잊히는 것을 방지하기 위해 경량의 특징 통계 메모리 구조를 사용한다. ACE는 Synthia에서 순차적인 도메인 이동 상황에서 뛰어난 성능을 기록하며, 메타학습을 통해 전체 배치 학습과 유사한 빠른 적응을 가능하게 한다.

ABSTRACT

Deep neural networks exhibit exceptional accuracy when they are trained and tested on the same data distributions. However, neural classifiers are often extremely brittle when confronted with domain shift---changes in the input distribution that occur over time. We present ACE, a framework for semantic segmentation that dynamically adapts to changing environments over the time. By aligning the distribution of labeled training data from the original source domain with the distribution of incoming data in a shifted domain, ACE synthesizes labeled training data for environments as it sees them. This stylized data is then used to update a segmentation model so that it performs well in new environments. To avoid forgetting knowledge from past environments, we introduce a memory that stores feature statistics from previously seen domains. These statistics can be used to replay images in any of the previously observed domains, thus preventing catastrophic forgetting. In addition to standard batch training using stochastic gradient decent (SGD), we also experiment with fast adaptation methods based on adaptive meta-learning. Extensive experiments are conducted on two datasets from SYNTHIA, the results demonstrate the effectiveness of the proposed approach when adapting to a number of tasks.

연구 동기 및 목표

• 실세계 배치에서 조명 및 기상 조건 변화로 인한 도메인 이동 문제를 해결하기 위해.
• 새로운 환경에 대한 레이블이 없는 순차적 타겟 도메인에 대해 사전 학습된 모델을 지속적으로 적응시킬 수 있도록 하기 위해.
• 이전에 학습된 작업의 치명적인 忘却를 방지하기 위해 경량의 특징 통계 메모리 구조를 사용하기 위해.
• 다양한 도메인 간 일반화가 가능한 메타학습 전략을 통해 적응 속도를 가속화하기 위해.
• 실시간 동적 환경에서의 적응을 위한 경량이며 엔드 투 엔드로 트레이닝 가능한 프레임워크 개발하기 위해.

제안 방법

• 소스 도메인 이미지의 통계(평균 및 분산)를 타겟 도메인의 비라벨 이미지와 특징 수준에서 일치시키기 위해 조건부 이미지 생성기를 사용한다.
• 적응 가능한 통계를 갖춘 인스턴스 정규화를 적용하여 타겟 도메인의 스타일을 소스 이미지에 전달하면서 콘텐츠를 유지한다.
• 이전에 본 도메인의 1차 및 2차 특징 통계를 저장하는 메모리 유닛을 활용하여 효율적인 스타일 재생을 수행한다.
• 저장된 통계를 사용해 이전 도메인의 스타일을 재구성하고 재생함으로써 분류 모델을 미세조정하고 잊히는 것을 방지한다.
• 시작적 경사 하강법(SGD)을 통해 분류 및 생성 네트워크를 함께 최적화하여 엔드 투 엔드 최적화를 달성한다.
• 새로운 도메인 당 600번의 SGD 스텝만으로도 빠른 적응이 가능한 메타파rameter를 학습하기 위해 Reptile를 사용하는 ACE-Meta라는 메타학습 변형을 도입한다.

실험 결과

연구 질문

• RQ1 기상 및 조명 조건 변화가 있는 새로운 비라벨 환경에 대해 시맨틱 세그멘테이션 모델을 효과적으로 적응시킬 수 있는가?
• RQ2 새로운 데이터 분포에서 순차적으로 학습할 때 치명적인 忘却를 어떻게 완화할 수 있는가?
• RQ3 스타일 전이를 통한 픽셀 수준의 분포 일치가 특징 수준의 일치보다 적응 성능을 향상시키는가?
• RQ4 메타학습을 통해 전체 재학습 없이도 새로운 도메인에 대한 적응을 얼마나 빠르게 가속화할 수 있는가?
• RQ5 특징 통계의 경량 메모리는 다양한 환경 간 장기적 일반화를 위해 얼마나 효과적인가?

주요 결과

• ACE는 Synthia 데이터셋에서 순차적 적응 작업에서 최신 기술 수준의 성능을 기록하며, 표준 도메인 적응 및 재생 기반 베이스라인을 모두 앞서간다.
• 메모리 재생 기능을 추가함으로써 기존에 본 도메인에서의 정확도를 유지하면서 지속적 학습 중에 잊히는 것을 크게 감소시켰다.
• 메타학습을 사용하는 ACE-Meta는 전체 배치 SGD 학습(10,000 반복)과 유사한 성능을 달성하지만, 각 작업당 600회의 반복만으로도 가능하다.
• 눈내리는 날과 눈내리는 밤과 같은 도전적인 도메인에서는 ACE-Meta가 비메타 기반 베이스라인보다 뚜렷한 성능 향상을 보이며, 다양한 조건 간 효과적인 일반화를 입증했다.
• ACE와 ADDA(특징 수준의 적응)를 결합하면 고속도로 및 뉴욕 스타일의 시티 도메인에서 각각 0.7%와 0.6%의 추가적인 향상이 이루어졌다.
• ACE를 사용해 생성된 이미지는 MUNIT보다 더 많은 구조적 및 의미적 세부 정보를 유지하면서 더 적은 아티팩트를 보이며, 픽셀 수준의 스타일 전이의 효과성을 확인했다.