[논문 리뷰] Graph-Relational Domain Adaptation

Zihao Xu, Hao he외 3명|arXiv (Cornell University)|2022. 02. 08.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 도메인 간 관계를 모델링하기 위해 도메인 그래프를 사용하는 새로운 적대적 도메인 적응 방법인 그래프-관계적 도메인 적응(GRDA)을 제안한다. 기존의 균일한 정렬 방식을 그래프 구조 기반 정렬로 대체함으로써, 도메인 간의 구조적 관계를 고려한 더 유연하고 토폴로지 인식 정렬을 실현한다. 그래프 구분자(가장자리 복원)를 도입하여 인코딩된 특징에서 도메인 그래프를 재구성함으로써, GRDA는 DG-15, TPT-48, CompCars와 같은 합성 및 실세계 벤치마크에서 최신 기법들을 능가하는 성능을 달성한다.

ABSTRACT

Existing domain adaptation methods tend to treat every domain equally and align them all perfectly. Such uniform alignment ignores topological structures among different domains; therefore it may be beneficial for nearby domains, but not necessarily for distant domains. In this work, we relax such uniform alignment by using a domain graph to encode domain adjacency, e.g., a graph of states in the US with each state as a domain and each edge indicating adjacency, thereby allowing domains to align flexibly based on the graph structure. We generalize the existing adversarial learning framework with a novel graph discriminator using encoding-conditioned graph embeddings. Theoretical analysis shows that at equilibrium, our method recovers classic domain adaptation when the graph is a clique, and achieves non-trivial alignment for other types of graphs. Empirical results show that our approach successfully generalizes uniform alignment, naturally incorporates domain information represented by graphs, and improves upon existing domain adaptation methods on both synthetic and real-world datasets. Code will soon be available at https://github.com/Wang-ML-Lab/GRDA.

연구 동기 및 목표

• 기존 도메인 적응 기법이 도메인 간의 구조적 관계에 상관없이 균일한 정렬을 강제하는 한계를 해결하기 위해.
• 노드가 도메인을, 간선이 인접성 또는 유사성(지리적 근접성 또는 의미적 유사성 등)을 나타내는 그래프를 사용해 도메인 간 관계를 모델링하기 위해.
• 도메인 그래프의 토폴로지에 따라 정렬 전략을 적응시키는 일반화 가능한 적대적 도메인 적응 프레임워크를 개발하기 위해.
• 도메인 그래프가 클리크(clique)일 경우 GRDA가 고전적 도메인 적응을 복원하고, 다른 그래프 유형에 대해서는 비트리비얼한, 토폴로지 인식 정렬을 달성함을 이론적으로 보여주기 위해.
• 합성 및 실세계 환경 모두에서 도메인 그래프의 구조를 활용함으로써 최신 기법들을 능가하는 성능 향상을 경험적으로 검증하기 위해.

제안 방법

• 적대적 도메인 적응에서 표준 이진 또는 다중 클래스 구분자를, 인코딩된 특징에서 도메인 그래프를 재구성하는 그래프 구분자로 대체하기.
• 인코딩 조건에 의존하는 그래프 임베딩을 사용하여, 도메인의 인코딩된 표현이 주어진 도메인 그래프의 구조와 일치하는지 평가할 수 있도록 하기.
• 모델이 도메인 불변 특징을 학습하여 그래프 토폴로지를 존중하도록 유도하는 적대적 목적함수를 통해 인코더와 구분자를 함께 훈련하기.
• 그래프 재구성 작업을 노드 분류 또는 링크 예측 문제로 설정하여, 구분자가 도메인 임베딩 간의 간선을 예측하기.
• 표준 도메인 적응 파이프라인에 그래프 구분자를 통합하여, 신경망의 엔드 투 엔드 훈련을 유지하기.
• 도메인 그래프가 완전 그래프(클리크)일 경우 GRDA가 표준 도메인 적응으로 축소되어 이론적 보장을 유지함을 보장하기.

실험 결과

연구 질문

• RQ1 균일한 정렬을 넘어서 도메인 간 상호관계의 토폴로지적 관계를 활용하여 도메인 적응을 일반화할 수 있는가?
• RQ2 이질적인 도메인 환경에서 균일한 정렬보다 그래프 구조 기반 도메인 그래프가 더 효과적이고 민감한 정렬을 가능하게 하는가?
• RQ3 그래프 구분자가 특징 인코딩에서 도메인 그래프를 효과적으로 재구성할 수 있는가? 이를 통해 도메인 인접성에 부합하는 정렬을 강제할 수 있는가?
• RQ4 알려진 도메인 그래프 구조를 가진 데이터셋에서 GRDA는 최신 기법들보다 어떻게 성능을 발휘하는가?
• RQ5 균일한 정렬이 실패하는 먼 도메인 간에서 GRDA는 안정적인 성능을 유지하는가?

주요 결과

• CompCars 데이터셋에서 GRDA는 51.0%의 정확도를 기록했으며, Source-Only에 비해 9.68% 향상되었고, DANN, ADDA, CDANN, MDD와 같은 최신 기법들보다도 뚜렷한 성능 향상을 보였다.
• DG-15 데이터셋에서 GRDA는 모든 타겟 도메인에서 50% 이상의 정확도를 유지했으며, MDD 및 기타 최신 기법들은 몇몇 경우에서 50% 이하로 떨어지는 것으로 나타나 도메인 분포 변화에 대한 강건성을 보였다.
• TPT-48 작업에서 GRDA는 $E(24)\to W(24)$ 및 $N(24)\to S(24)$ 적응 작업 모두에서 모든 타겟 도메인의 평균 평균제곱오차(MSE)가 가장 낮게 유지되었으며, DANN, ADDA, CDANN, MDD를 모두 능가했다.
• TPT-48에서 GRDA는 타겟 도메인의 모든 수준(Level-1, Level-2, Level-3)에서 일관되게 낮은 MSE를 기록하여 안정적이고 세밀한 성능 향상을 입증했다.
• 이론적 분석 결과, 도메인 그래프가 클리크일 경우 GRDA가 표준 도메인 적응을 복원하며, 체인 또는 스타와 같은 다른 그래프 유형에 대해서는 비트리비얼한, 토폴로지 인식 정렬을 가능하게 함을 확인했다.
• 경험적 결과는 GRDA가 균일한 정렬을 성공적으로 일반화하고, 자연스럽게 도메인 그래프 정보를 통합하며, 합성 및 실세계 데이터셋 양쪽에서 성능 향상을 이룬다는 것을 보여주었다.