[논문 리뷰] Graph Optimal Transport for Cross-Domain Alignment

Li‐Qun Chen, Zhe Gan외 4명|arXiv (Cornell University)|2020. 06. 26.

Advanced Graph Neural Networks인용 수 22

한 줄 요약

이 논문은 워셔스타인 거리(WD)를 사용한 노드 정렬과 그로모프-워셔스타인 거리(GWD)를 사용한 구조 정렬을 활용하여 엔티티 매칭을 그래프 매칭 문제로 공식화하는 원리적인 프레임워크인 그래프 최적 운반(GOT)을 제안한다. GOT은 신경망 내에서 즉석으로 통합되는 정규화 요소로서 희소하고 해석 가능한 운반 계획을 제공하며, 이미지-텍스트 검색, VQA, 캡셔닝, 기계 번역, 요약 등 다양한 작업에서 일관되게 성능을 향상시킨다.

ABSTRACT

Cross-domain alignment between two sets of entities (e.g., objects in an image, words in a sentence) is fundamental to both computer vision and natural language processing. Existing methods mainly focus on designing advanced attention mechanisms to simulate soft alignment, with no training signals to explicitly encourage alignment. The learned attention matrices are also dense and lacks interpretability. We propose Graph Optimal Transport (GOT), a principled framework that germinates from recent advances in Optimal Transport (OT). In GOT, cross-domain alignment is formulated as a graph matching problem, by representing entities into a dynamically-constructed graph. Two types of OT distances are considered: (i) Wasserstein distance (WD) for node (entity) matching; and (ii) Gromov-Wasserstein distance (GWD) for edge (structure) matching. Both WD and GWD can be incorporated into existing neural network models, effectively acting as a drop-in regularizer. The inferred transport plan also yields sparse and self-normalized alignment, enhancing the interpretability of the learned model. Experiments show consistent outperformance of GOT over baselines across a wide range of tasks, including image-text retrieval, visual question answering, image captioning, machine translation, and text summarization.

연구 동기 및 목표

• 기존의 주로 어텐션 기반 모델에서 교차 도메인 정렬을 위한 명시적인 훈련 신호가 부족한 문제를 해결하기 위해.
• 밀도 있는 어텐션 행렬 대신 최적 운반 계획을 도입함으로써 학습된 정렬의 해석 가능성과 희소성을 향상시키기 위해.
• 최적 운반 이론을 활용하여 교차 도메인 정렬에서 노드 수준과 구조 수준의 매칭을 통합하기 위해.
• 기존 신경망 아키텍처와 호환되는 일반적이고 미분 가능한 프레임워크를 개발하기 위해.
• 다양한 다중 모달 및 자연어 처리 작업 전반에서 프레임워크의 실증적 타당성을 검증하기 위해.

제안 방법

• 학습된 특징 임bedding을 사용하여 각 도메인의 엔티티를 동적으로 구성된 그래프의 노드로 표현한다.
• 워셔스타인 거리(WD)를 적용하여 특징 임베딩 기반으로 도메인 간 노드(엔티티)를 정렬한다.
• 상대적 거리 비교를 통해 엔티티 간 구조적 관계(에지)를 정렬하기 위해 그로모프-워셔스타인 거리(GWD)를 사용한다.
• 전반적인 정렬을 WD와 GWD의 동시 최적화로 공식화하여 도메인 분포 간 운반 비용을 최소화한다.
• 기존 신경망 목표 함수에 GOT 손실을 아키텍처 변경 없이 미분 가능한 정규화 요소로 통합한다.
• 훈련 중 효율성과 일관성을 확보하기 위해 공유된 싱크호른 정규화 운반 계획을 사용한다.

실험 결과

연구 질문

• RQ1 최적 운반은 다양한 모델에서 미분 가능하고 해석 가능하며 확장 가능한 방식으로 교차 도메인 정렬을 효과적으로 적용할 수 있는가?
• RQ2 노드 수준(WD)과 구조 수준(GWD) 정렬을 결합하면 단독으로 사용할 경우보다 정렬 성능을 향상시키는가?
• RQ3 GOT은 다양한 시각 및 언어 작업에서 성능 향상을 위한 일반적이고 즉시 통합 가능한 정규화 요소로 활용될 수 있는가?
• RQ4 λ(워셔스타인 거리와 그로모프-워셔스타인 거리 간 가중치)와 같은 하이퍼파라미터가 모델 성능에 어떤 영향을 미치는가?
• RQ5 GOT이 주장하는 바와 같이 GOT가 학습한 운반 계획은 희소하고 해석 가능한가?

주요 결과

• GOT은 이미지-텍스트 검색, VQA, 이미지 캡셔닝, 기계 번역, 개괄적 요약 등 다섯 가지 다양한 작업에서 강력한 베이스라인을 일관되게 능가한다.
• EN-VI 번역 데이터셋에서 GOT는 λ=0.8일 때 BLEU 점수 29.92를 기록하여 베이스라인(28.65)과 공유되지 않은 운반 계획 버전(29.77)을 모두 초월했다.
• 제거 실험 결과, 공유된 운반 계획은 훈련 시간을 단축시키고 성능을 향상시키며, EN-VI에서 0.15 BLEU, EN-DE에서 0.16 BLEU의 성능 향상을 보였다.
• 최적의 λ 값은 EN-VI에서 0.8로 확인되었으며, 이는 번역 작업에서 노드 매칭(WD)이 구조 매칭(GWD)보다 더 큰 기여를 한다는 것을 시사한다.
• 운반 계획의 시각화 결과에서 희소하고 자기 정규화된 정렬 패턴이 확인되었으며, 예를 들어 'largest'가 'more'와 매칭되고 'projects'가 'investment'와 매칭되는 등, 정확도와 해석 가능성의 증거가 되었다.
• 요약 작업에서 WD와 GWD 모두 ROUGE 점수 향상을 이끌어내어 프레임워크가 개괄적 생성 작업으로까지 일반화됨을 입증했다.