[논문 리뷰] Deep causal representation learning for unsupervised domain adaptation

Raha Moraffah, Kai Shu외 2명|arXiv (Cornell University)|2019. 10. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 7

한 줄 요약

이 논문은 재가중 처리된 소스 샘플을 통해 가상의 타겟 도메인을 시뮬레이션함으로써 도메인 불변(causal) 특징을 학습하는 비지도 도메인 적응을 위한 딥 코스탈 표현 학습 프레임워크인 DCDAN을 제안한다. 허위 상관관계에 의존하기보다는 인과 효과를 추정함으로써 DCDAN은 특징의 이동 가능성을 향상시키고, 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다. 실험적 검증을 통해 주의 맵(attention heatmaps)에서 인과적 특징의 국소화가 뛰어나다는 것이 입증되었다.

ABSTRACT

Studies show that the representations learned by deep neural networks can be transferred to similar prediction tasks in other domains for which we do not have enough labeled data. However, as we transition to higher layers in the model, the representations become more task-specific and less generalizable. Recent research on deep domain adaptation proposed to mitigate this problem by forcing the deep model to learn more transferable feature representations across domains. This is achieved by incorporating domain adaptation methods into deep learning pipeline. The majority of existing models learn the transferable feature representations which are highly correlated with the outcome. However, correlations are not always transferable. In this paper, we propose a novel deep causal representation learning framework for unsupervised domain adaptation, in which we propose to learn domain-invariant causal representations of the input from the source domain. We simulate a virtual target domain using reweighted samples from the source domain and estimate the causal effect of features on the outcomes. The extensive comparative study demonstrates the strengths of the proposed model for unsupervised domain adaptation via causal representations.

연구 동기 및 목표

• 기존의 비지도 도메인 적응 방법이 상관관계에 의존하는 한계를 해결하기 위해, 이는 도메인 간 이동 가능성이 보장되지 않을 수 있음.
• 결과를 예측하는 데 직접적인 영향을 미치는 인과적 특징 표현을 학습하는 프레임워크를 개발하기 위해, 허위 상관관계나 맥락 기반 상관관계가 아닌 인과적 특징 표현을 학습하기 위해.
• 재가중 처리된 소스 샘플을 이용해 가상의 타겟 도메인을 시뮬레이션하여 인과 효과를 분리하고, 불변 표현 학습을 가능하게 하기 위해.
• 딥 신경망 파이프라인 내에서 특징 표현과 샘플 가중치를 동시에 최적화하여 종단 간(end-to-end) 인과적 표현 학습을 실현하기 위해.

제안 방법

• 프레임워크는 소스 도메인의 샘플을 재가중 처리하여 교란 변수(confounding variables)를 균형 잡힌 가상의 타겟 도메인을 구성한다.
• 역확률 가중치(inverse probability weighting)를 사용하여 시뮬레이션된 타겟 도메인에서 특징이 결과에 미치는 인과 효과를 추정한다.
• 교대로 시행되는 확률적 경사 하강법(alternating stochastic gradient descent)을 통해 딥 신경망 파rameter와 샘플 가중치를 동시에 최적화한다.
• 허위 상관관계가 제거된 가상의 타겟 도메인에서 결과와 가장 강하게 관련된 특징이 인과적 특징 표현으로 식별된다.
• 딥 러닝 파이프라인에 인과적 표현 학습을 통합하여 분류 및 도메인 불변성 손실을 함께 최적화하는 종단 간 학습을 가능하게 한다.
• 이론적 증명을 통해 재가중 처리된 가상 도메인에서는 인과적 특징만 결과와 관련이 있으며, 허위 상관관계는 사라짐을 입증한다.

실험 결과

연구 질문

• RQ1 라벨이 없는 타겟 데이터가 존재하는 비지도 도메인 적응 환경에서 인과적 특징 표현을 학습할 수 있는가?
• RQ2 인과 효과 기반으로 학습된 표현이 상관관계 기반 학습에 비해 더 나은 일반화 성능을 보이는가?
• RQ3 샘플 재가중 처리를 통한 가상 도메인 적응은 타겟 도메인을 효과적으로 시뮬레이션하여 인과적 특징을 분리하는 데 성공하는가?
• RQ4 기본적인 딥 네트워크가 학습한 특징 표현에 비해, 학습된 인과적 특징 표현은 국소화 및 해석 가능성 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법이 도메인 이동 상황에서 분류 정확도와 특징 불변성 측면에서 얼마나 향상되는가?

주요 결과

• DCDAN은 허위 상관관계에 의존하지 않고 인과적 표현을 학습함으로써 여러 비지도 도메인 적응 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 모델은 타겟 도메인 분류 작업에서 더 높은 정확도를 보이며, 특징의 이동 가능성이 뚜렷하게 향상됨을 입증한다.
• 히트맵 시각화 결과 DCDAN은 고양이의 눈, 귀와 같이 결과에 인과적으로 관련된 구조적 특징에 집중하는 반면, ResNet-50은 내용과 맥락을 모두 집중적으로 보여준다.
• 제거 실험(ablation study)를 통해 샘플 분산과 가중치 정규화를 제어하는 하이퍼파rameter가 모델 성능에 유의미한 영향을 미친다.
• 이론적 증명을 통해 시뮬레이션된 가상의 타겟 도메인에서는 인과적 특징만 결과와 관련이 있으며, 허위 상관관계는 사라짐을 입증함으로써 메서드의 핵심 가정을 검증한다.
• 네트워크 가중치와 샘플 가중치의 공동 최적화를 통해 예측 작업에 가장 큰 인과 기여도를 가진 표현을 학습할 수 있다.