[논문 리뷰] Making transport more robust and interpretable by moving data through a small number of anchor points

Chi-Heng Lin, Mehdi Azabou외 1명|arXiv (Cornell University)|2020. 12. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 4

한 줄 요약

이 논문은 잠재적 최적 운반(Latent Optimal Transport, LOT)을 제안하며, 별도의 소스 및 타겟 앵커를 학습하여 데이터가 이러한 허브를 통해 흐르도록 함으로써 강건성과 해석 가능성의 향상을 도모하는 구조화된 최적 운반 방법이다. LOT는 운반 질량을 정규화하고, 노이즈 및 표본 변동성에 대한 민감도를 감소시키며, 서로 다른 기하학적 구조를 가진 데이터셋 간의 구조적 일치를 향상시킨다.

ABSTRACT

Optimal transport (OT) is a widely used technique for distribution alignment, with applications throughout the machine learning, graphics, and vision communities. Without any additional structural assumptions on trans-port, however, OT can be fragile to outliers or noise, especially in high dimensions. Here, we introduce a new form of structured OT that simultaneously learns low-dimensional structure in data while leveraging this structure to solve the alignment task. Compared with OT, the resulting transport plan has better structural interpretability, highlighting the connections between individual data points and local geometry, and is more robust to noise and sampling. We apply the method to synthetic as well as real datasets, where we show that our method can facilitate alignment in noisy settings and can be used to both correct and interpret domain shift.

연구 동기 및 목표

• 고차원 설정에서 특히 노이즈 및 이방성에 취약한 표준 최적 운반(OT)의 취약성을 해결하기 위해.
• 이전의 구조화된 OT 방법들이 소스 및 타겟 간 공유 앵커에 의존하는 데서 비롯되는 한계를 극복하기 위해, 이는 도메인 이동이나 다른 데이터 구조를 포괄하지 못할 수 있다.
• 저차원 데이터 구조를 동시에 학습하고 이를 운반을 정규화하는 데 활용함으로써 강건성과 해석 가능성의 향상을 도모하는 방법을 개발하기 위해.
• 잠재적 앵커 공간을 통해 개별 데이터 포인트와 국소적 데이터 기하학 간의 연결을 부각시켜 더 해석 가능한 운반 계획을 가능하게 하기 위해.
• 표본 수요의 고차원성의 고통을 완화하는 이론적으로 탄탄한 OT의 완화를 제공하기 위해.

제안 방법

• 운반 계획을 세 구성 요소로 분해: (1) 소스 포인트에서 소스 앵커로, (2) 소스 앵커에서 타겟 앵커로, (3) 타겟 앵커에서 타겟 포인트로.
• 소스 및 타겟 분포에 대해 별개의 앵커 집합을 학습하여 각 도메인 내에서 다른 구조적 표현을 가능하게 한다.
• 소스 및 타겟 앵커 간의 잠재 공간 정렬을 통해 고차원적 구조적 유사성을 모델링하고, 이로 인해 강건한 도메인 간 운반을 가능하게 한다.
• 앵커 기반 분해를 통해 저랭크 제약 조건을 도입한 정규화된 최적 운반 문제로 목적 함수를 설정한다.
• 계산 효율성과 최적화의 수치적 안정성을 확보하기 위해 Sinkhorn 반복을 통한 엔트로피 정규화를 적용한다.
• 중심점 기반 복원을 통해 세 단계의 변환(소스 → 앵커, 앵커 → 앵커, 앵커 → 타겟)을 통해 운반 맵을 추정한다.

실험 결과

연구 질문

• RQ1 소스 및 타겟 분포에 대해 별개의 앵커를 학습하는 것이 노이즈 및 표본 변동성에 대한 최적 운반의 강건성 향상에 기여하는가?
• RQ2 다른 앵커 집합을 허용할 경우, 결과 운반 계획의 해석 가능성과 구조적 충실도는 어떻게 영향을 받는가?
• RQ3 표준 OT에 비해 LOT는 고차원 노이즈 및 이방성에 대해 얼마나 더 민감도가 낮아지는가?
• RQ4 LOT의 앵커 기반 분해가 표본 효율성 향상과 고차원성의 고통 감소 측면에서 통계적 이점이 있는가?
• RQ5 LOT는 도메인 이동이나 서로 다른 내재적 구조를 가진 데이터셋(예: 컴퓨터 비전 도메인 적응 작업) 간의 정렬을 효과적으로 수행할 수 있는가?

주요 결과

• LOT는 합성 GMM 및 MNIST-USPS 도메인 적응에서 고차원 데이터의 노이즈 및 표본 변동성에 대해 강건성을 크게 향상시켰다.
• 앵커 기반 분해를 통해 운반 계획의 랭크를 감소시켜 노이즈 제거 메커니즘으로 작용하고 해를 안정화시켰다.
• 소스 및 타겟에 대해 별개의 앵커를 사용함으로써 도메인 이동 및 다른 국소 기하학을 더 잘 포착하여 더 해석 가능한 운반 맵를 생성했다.
• MNIST-USPS에서 도메인 적응 작업에서 최신 기술 성능을 달성했으며, 표준 OT 및 인수 분해(FC) 기반 모델 대비 정확도 향상을 보였다.
• 앵커 수는 모델 선택 기법(예: 실루엣 점수 또는 팔꿈치 방법)을 통해 선택할 수 있으며, 과대 추정이 성능에 미치는 영향이 미미하여 하이퍼파rameter 선택에 대한 강건성을 보였다.
• 이론적 분석과 실증 검증을 통해 LOT는 표본 수요의 고차원성의 고통을 완화하는 통계적 완화를 제공함으로써 OT의 고통을 극복하는 데 성공했다.