[논문 리뷰] Structural Re-weighting Improves Graph Domain Adaptation

Shikun Liu, Tianchun Li외 5명|arXiv (Cornell University)|2023. 06. 05.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 구조 재가중(Structural Re-weighting, StruRW)을 제안하며, 이는 분포 이탈 상황에서 노드 분류 성능을 향상시키기 위해 타겟 도메인의 가짜 레이블을 기반으로 소스 그래프 간선을 재가중하는 새로운 그래프 도메인 적응 방법이다. 조건부 구조 이탈(conditional structure shift) — 즉, 도메인 간 그래프 구조가 변화하는 현상 — 를 완화하기 위해 동적으로 근접성 집합을 조정함으로써, 특히 큰 구조 이탈 상황에서 뚜렷한 성능 향상을 이룬다. 이는 합성 데이터, 벤치마크 데이터셋, 고에너지 물리학 데이터셋에서 최신 기준 모델들을 능가한다.

ABSTRACT

In many real-world applications, graph-structured data used for training and testing have differences in distribution, such as in high energy physics (HEP) where simulation data used for training may not match real experiments. Graph domain adaptation (GDA) is a method used to address these differences. However, current GDA primarily works by aligning the distributions of node representations output by a single graph neural network encoder shared across the training and testing domains, which may often yield sub-optimal solutions. This work examines different impacts of distribution shifts caused by either graph structure or node attributes and identifies a new type of shift, named conditional structure shift (CSS), which current GDA approaches are provably sub-optimal to deal with. A novel approach, called structural reweighting (StruRW), is proposed to address this issue and is tested on synthetic graphs, four benchmark datasets, and a new application in HEP. StruRW has shown significant performance improvement over the baselines in the settings with large graph structure shifts, and reasonable performance improvement when node attribute shift dominates.

연구 동기 및 목표

• 고에너지 물리학과 같은 실제 응용 분야에서 시뮬레이션 데이터와 실재 데이터 간의 차이로 인해 발생하는 그래프 구조 데이터의 분포 이탈 문제를 다루기 위해.
• 기존 그래프 도메인 적응(GDA) 방법이 효과적으로 다루지 못하는 새로운 유형의 분포 이탈 — 조건부 구조 이탈(Conditional Structure Shift, CSS) — 를 식별하고 수식화하기 위해.
• 타겟 도메인의 근접성 통계를 기반으로 소스 그래프 내 메시지 전파 과정을 적응적으로 재가중하여 CSS를 감소시키는 방법을 개발하기 위해.
• 다양한 환경 — 합성 그래프, 표준 벤치마크, 실제 고에너지 물리학 응용 — 에서 구조 재가중의 효과를 입증하기 위해.

제안 방법

• StruRW는 타겟 그래프에서 가짜 레이블이 부여된 노드를 사용해 노드 클래스 간 간선 확률을 계산하여 근접성 구조를 추정한다.
• 이러한 클래스 기반 간선 확률을 활용해 소스 그래프 내 메시지 전파 과정을 재가중함으로써, 이웃 노드가 노드 표현에 기여하는 방식을 조정한다.
• 재가중은 GNN 학습 중에 적용되어 소스 도메인의 메시지 전파가 타겟 도메인의 구조와 더 잘 일치하도록 하여 조건부 구조 이탈을 감소시킨다.
• 이 방법은 표준 GNN과 통합 가능하며, ERM 또는 도메인 적대적 학습과 같은 다양한 학습 목표와도 조합할 수 있다.
• 하이퍼파라미터로는 재가중 시작 에포크, 가중치 계산을 위한 시간 윈도우, 재가중 메시지의 影響력을 조절하는 스케일링 인자 λ 가 포함된다.
• 다중 그래프 설정과의 호환성을 고려해 설계되었지만, 이러한 환경에서는 평균 과도한 가중치 계산으로 인해 성능이 제한될 수 있다.

Figure 1: Examples of pileup events in two different PU levels: PU30 (Left) and PU10 (Right). Charged particles can be labeled as LC or OC, as highlighted by red or blue dots, while the labels of neutral particles are often unknown. Graph methods are often used here (Bertolini et al., 2014 ; Li et a

실험 결과

연구 질문

• RQ1 특히 구조적 이탈과 속성 이탈 간의 차이가 그래프 도메인 적응 성능에 어떤 영향을 미치는가?
• RQ2 마지막 레이어 표현 정렬을 통한 단일 공유 GNN 인코더가 그래프 구조 데이터의 분포 이탈을 충분히 다룰 수 있는가?
• RQ3 근접성 패턴이 도메인 간 변화하는 조건부 구조 이탈(CSS)이 GNN 일반화에 어떤 영향을 미치는가?
• RQ4 타겟 도메인의 가짜 레이블을 기반으로 소스 그래프 간선을 재가중하는 것이 실제로 CSS를 감소시키고 도메인 적응 성능을 향상시키는가?
• RQ5 특히 고에너지 물리학과 같은 실제 응용에서, 다양한 정도의 구조 이탈 상황에서 StruRW는 어떤 성능을 보이는가?

주요 결과

• 대규모 그래프 구조 이탈 상황에서 StruRW는 최신 기준 모델들을 상회하는 뚜렷한 성능 향상을 보이며, 특히 조건부 구조 이탈(CSS) 점수가 높은 데이터셋에서 두드러진다.
• ACM→DBLP 및 DBLP→ACM 데이터셋에서 StruRW-ERM과 StruRW-Mix는 일관된 성능 향상을 보였으며, StruRW-Adv는 큰 이탈 상황에서는 더 효과적이지만 안정성은 떨어졌다.
• HEP 응용에서, 고 PU 수준에서 저 PU 수준으로의 적응 시 StruRW 기반 모델이 ERM 및 DANN 기반 모델을 능가했으며, 반대로 방향 전환 시에는 미미한 성능 향상만을 보였다.
• Cora 및 Arxiv와 같이 CSS 값이 높은 데이터셋에서 StruRW는 더 큰 성능 향상을 보였으며, 이는 CSS와 성능 향상 간의 상관관계를 확인시켰다.
• 하이퍼파라미터 분석 결과, 원래 CSS가 클수록 λ 를 증가시키면 성능 향상이 뚜렷해지며, 이는 이질성 심도에 따라 재가중을 스케일링하는 설계 선택의 타당성을 뒷받침한다.
• HEP 작업의 이진 분류 성격과 다중 그래프 학습의 복잡성에도 불구하고 StruRW는 측정 가능한 성능 향상을 보였으며, 이는 일부 실제 제약 조건에 대해 강건함을 시사한다.

Figure 2: This diagram demonstrates the model pipeline by combining the StruRW module, GNN encoder, then the generalized loss calculation block that supports StruRW-Adv, StruRW-Mix, and StruRW-ERM. The pseudo codes are presented in Algorithm 1 .