[논문 리뷰] Learning to Combine: Knowledge Aggregation for Multi-Source Domain Adaptation

Hang Wang, Minghao Xu외 2명|arXiv (Cornell University)|2020. 07. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 9

한 줄 요약

이 논문은 클래스 프로토타입 기반으로 구성된 지식 그래프를 통해 다수의 소스 도메인에서의 지식을 통합하는 방법을 제안한다. 그래프 컬러이션 네트워크와 관계 정렬 손실(Relation Alignment Loss, RAL)을 통합하여 카테고리 간 관계 일관성과 특징의 밀도를 강화함으로써, 기준 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 이는 기존 방법들에 비해 뚜렷한 성능 향상을 보인다.

ABSTRACT

Transferring knowledges learned from multiple source domains to target domain is a more practical and challenging task than conventional single-source domain adaptation. Furthermore, the increase of modalities brings more difficulty in aligning feature distributions among multiple domains. To mitigate these problems, we propose a Learning to Combine for Multi-Source Domain Adaptation (LtC-MSDA) framework via exploring interactions among domains. In the nutshell, a knowledge graph is constructed on the prototypes of various domains to realize the information propagation among semantically adjacent representations. On such basis, a graph model is learned to predict query samples under the guidance of correlated prototypes. In addition, we design a Relation Alignment Loss (RAL) to facilitate the consistency of categories' relational interdependency and the compactness of features, which boosts features' intra-class invariance and inter-class separability. Comprehensive results on public benchmark datasets demonstrate that our approach outperforms existing methods with a remarkable margin. Our code is available at \url{https://github.com/ChrisAllenMing/LtC-MSDA}

연구 동기 및 목표

• 다양한 소스 도메인에서 레이블이 없는 타겟 도메인으로 지식을 전이하는 데 있어, 도메인 이동과 모odal 차이로 인한 특징 정렬의 복잡성을 해결하기 위해.
• 고정되거나 수작업으로 설계된 소스 예측의 조합에 의존하지 않고, 다수의 도메인 간 특징 표현 간 상호작용을 모델링하여 모델 일반화 능력을 향상시키기 위해.
• 다양한 도메인 간 카테고리 간 상관관계를 일관되게 유지하여, 의미적 관계(예: 트럭은 사람보다 자동차에 더 가까움)가 잠재 공간에서 보존되도록 보장하기 위해.
• 프로토타입의 밀도와 클래스 간 분리도를 동시에 최적화하여 특징의 구분 능력과 도메인 불변성을 향상시키기 위해.

제안 방법

• 모든 도메인의 전역 프로토타입을 사용하여 지식 그래프를 구성하며, 노드 간 연결은 프로토타입 유사도 기반으로 설정된다.
• 그래프 컬러이션 네트워크(GCNs)를 적용하여 지식 그래프를 통해 표현을 전파하고 쿼리 샘플을 예측함으로써, 의미적으로 관련된 도메인 간 정보 흐름을 가능하게 한다.
• 관계 정렬 손실(Relation Alignment Loss, RAL)을 도입하며, 이는 도메인 간 일관된 카테고리 관계 구조를 강제하는 글로벌 항목과 프로토타입 주변의 특징 밀도를 증진하는 국소 항목으로 구성된다.
• 미니배치 샘플링으로 인한 추정 변동성을 줄이기 위해 전역 프로토타입은 이동 평균 기법을 통해 유지된다.
• 소스 및 타겟 도메인의 분류 손실과 RAL 손실을 조합하여 엔드 투 엔드로 모델을 훈련시킨다.
• 추론 시에는 지식 그래프와 GCN만 사용하므로 재학습 없이도 효율적인 예측이 가능하다.

실험 결과

연구 질문

• RQ1 단순한 앙상블나 평균화 방법에 비해 지식 그래프 기반 지식 통합이 다중 소스 도메인 적응에서 성능 향상에 기여하는가?
• RQ2 다양한 소스 및 타겟 도메인 간 카테고리 간 상호의존 관계를 어떻게 모델링하고 강제할 수 있는가? 이는 특징 정렬을 향상시키는 데 기여하는가?
• RQ3 프로토타입의 밀도와 클래스 간 분리도를 동시에 최적화하는 것이 도메인 이동 상황에서 더 나은 일반화를 이끌어내는가?
• RQ4 손실 함수의 가중치나 인접 행렬의 표준편차와 같은 하이퍼파rameter에 대해 제안된 방법의 민감도는 어떠한가?

주요 결과

• Digits-Five 기준 데이터셋에서 LtC-MSDA는 모든 도메인 적응 설정에서 평균 정확도 91.83%를 달성하며 최신 기술 수준 성능을 확보했다.
• 절단 분석 결과, 소스 분류 손실, 타겟 엔트로피 손실, 프로토타입 분류 손실을 조합한 경우 기존의 소스 감독만을 사용하는 기준 모델 대비 정확도가 3.03% 향상되었다.
• 관계 정렬 손실(RAL)은 성능 향상에 뚜렷한 기여를 하며, 글로벌 및 국소 제약 조건을 동시에 적용했을 때 최고의 성능가를 기록했다.
• 민감도 분석 결과, λ₁ ≈ 20 및 λ₂ ≈ 0.001일 때 모델은 하이퍼파rameter 선택에 대해 강건한 반응을 보였지만, 이러한 값들이 0에 가까워질수록 성능이 저하됨을 확인했다.
• 시각화 결과, RAL은 도메인 간 더 일관된 카테고리 관계를 유지하고 잠재 공간에서 더 잘 정렬되며 구분 능력이 뛰어난 특징 분포를 생성함을 확인했다.
• 모델이 학습한 인접 행렬은 의미적으로 관련된 클래스 간에 유의미한 유사도 스코어를 반영하며, 예를 들어 자동차와 트럭 간 높은 유사도 스코어를 기록했다.