[논문 리뷰] Generalizing to Evolving Domains with Latent Structure-Aware Sequential Autoencoder

Tiexin Qin, Shiqi Wang외 1명|arXiv (Cornell University)|2022. 05. 16.

Data Stream Mining Techniques인용 수 5

한 줄 요약

이 논문은 연속적인 도메인 드리프트를 동반한 비정상 환경에서의 진화하는 도메인 일반화 문제를 해결하기 위해 잠재 구조 인식 순차 오토인코더(Latent Structure-aware Sequential Autoencoder, LSSAE)를 제안한다. 변분 추론을 통해 시간에 민감한 전이 함수를 갖는 분리된 잠재 변수로 공변수 이동과 개념 이동을 모델링함으로써, LSSAE는 새로운 도메인에 대해 뛰어난 일반화 성능을 달성하며, 합성 및 실세계 데이터셋에서 기존의 도메인 일반화 방법들을 능가한다.

ABSTRACT

Domain generalization aims to improve the generalization capability of machine learning systems to out-of-distribution (OOD) data. Existing domain generalization techniques embark upon stationary and discrete environments to tackle the generalization issue caused by OOD data. However, many real-world tasks in non-stationary environments (e.g. self-driven car system, sensor measures) involve more complex and continuously evolving domain drift, which raises new challenges for the problem of domain generalization. In this paper, we formulate the aforementioned setting as the problem of evolving domain generalization. Specifically, we propose to introduce a probabilistic framework called Latent Structure-aware Sequential Autoencoder (LSSAE) to tackle the problem of evolving domain generalization via exploring the underlying continuous structure in the latent space of deep neural networks, where we aim to identify two major factors namely covariate shift and concept shift accounting for distribution shift in non-stationary environments. Experimental results on both synthetic and real-world datasets show that LSSAE can lead to superior performances based on the evolving domain generalization setting.

연구 동기 및 목표

• 정적이고 이산적인 도메인을 가정하는 기존 도메인 일반화 방법의 한계를 해결하고, 연속적인 진화를 보이는 실세계의 비정상 환경에서의 성능 저하 문제를 해결한다.
• 공변수 이동과 개념 이동이 시간에 따라 점진적으로 발생하는 진화하는 도메인 일반화 문제를 정식화한다.
• 순차적 도메인 간 분포 이동의 잠재적인 연속적인 구조를 포착하는 확률적 프레임워크를 개발한다.
• 학습 중에 존재하지 않은 새로운 목표 도메인에 대한 일반화를 가능하게 하며, 모델의 생성 능력을 활용한다.
• 표본 추출 편향(공변수 이동)과 카테고리 수준의 개념 이동(개념 이동)이라는 분포 이동의 두 핵심 요인을 동시에 분리하고 모델링한다.

제안 방법

• 도메인 특화(공변수) 및 클래스 특화(개념) 이동을 나타내는 잠재 변수를 모델링하기 위해 변분 추론을 사용하는 동적 확률적 프레임워크인 LSSAE를 제안한다.
• 공변수 이동(도메인 연관)을 위한 하나의 별도 잠재 변수와 개념 이동(카테고리 연관)을 위한 다른 하나의 별도 잠재 변수를 도입하며, 각각 시간에 따라 변화하는 전이 함수를 갖는다.
• 시간 스탬프에 기반해 잠재 변수의 동적 진화를 추론하기 위한 도메인 연관 및 카테고리 연관 모듈을 설계하여 연속적인 도메인 드리프트를 포착한다.
• 암시적 추론을 사용한 변분 오토인코더 목적함수를 통해 모델을 훈련함으로써, 잠재 요인에 대한 공동의 후행 분포를 엔드 투 엔드로 학습한다.
• 학습된 잠재 공간을 활용해 새로운 목표 도메인의 샘플을 생성함으로써, 순차적 데이터에 대한 모델의 생성 능력을 입증한다.
• Sine-C 및 PowerSupply를 포함한 합성 및 실세계 데이터셋에 프레임워크를 적용하여 일반화 및 생성 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 비정상 환경에서 연속적인 도메인 드리프트를 효과적으로 포착하고 분리할 수 있는가?
• RQ2 진화하는 분포를 가진 순차적 소스 도메인만으로 훈련된 모델이 새로운 목표 도메인에 얼마나 잘 일반화되는가?
• RQ3 제안된 프레임워크는 통합된 잠재 공간에서 공변수 이동과 개념 이동을 동시에 어느 정도 잘 모델링할 수 있는가?
• RQ4 잠재 요인의 분리가 기존의 도메인 일반화 방법에 비해 일반화 성능 향상에 기여하는가?
• RQ5 학습된 모델은 새로운 진화하는 도메인으로부터 현실적인 샘플을 생성할 수 있는가? 이는 학습된 표현의 강건성과 표현력의 증거가 된다.

주요 결과

• LSSAE는 Sine-C 데이터셋에서 기존의 ERM, Mixup, MMD, MLDG, IRM, RSC, MTL, Fish, CORAL, AndMask, DIVA 등 모든 기준 모델보다 뛰어난 성능을 보이며, 평균 정확도 44.8%를 기록했고, 최고의 베이스라인인 34.0%보다 높았다.
• PowerSupply 데이터셋에서는 평균 정확도 71.1%를 기록하여, 최고의 베이스라인(71.0%)을 약간 앞서며 새로운 도메인에 대한 강력한 일반화 능력을 입증했다.
• 학습된 잠재 경로의 정성적 분석을 통해 LSSAE는 공변수 이동과 개념 이동을 성공적으로 분리하고 모델링했다.
• 모델는 뛰어난 생성 능력을 보이며, 새로운 목표 도메인으로부터 현실적인 샘플을 생성했으며, 이는 순차적 데이터 생성 작업에서의 유용성을 뒷받침한다.
• Sine-C 및 PowerSupply 데이터셋에서 다양한 목표 도메인에 대해 안정적인 성능을 유지하여, 분포 이동에 대한 강건성을 보였다.
• 제거 실험 결과, 도메인 및 카테고리 요인을 모두 모델링하는 것이 필수적임을 확인했으며, 둘 중 하나를 제거하면 성능이 심각하게 저하됨을 확인했다.