[논문 리뷰] Neural Optimal Transport

Alexander Korotin, Daniil Selikhanovych외 1명|arXiv (Cornell University)|2022. 01. 28.

Medical Image Segmentation Techniques인용 수 6

한 줄 요약

이 논문은 강한 및 약한 운반 비용 하에서 결정론적 및 확률적 최적 운반 맵과 계획을 계산하기 위한 딥러닝 기반 방법인 신경 최적 운반(Neural Optimal Transport, NOT)을 소개한다. 신경망이 운반 계획을 보편적으로 근사할 수 있음을 증명함으로써, 저자들은 미분 가능하고 확장 가능한 프레임워크를 개발하였으며, 이는 쌍방향이 아닌 이미지 간 번역 작업에서 이전 방법들을 능가하여 CelebA, 실외에서 교회로, 핸드백에서 신발로의 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

We present a novel neural-networks-based algorithm to compute optimal transport maps and plans for strong and weak transport costs. To justify the usage of neural networks, we prove that they are universal approximators of transport plans between probability distributions. We evaluate the performance of our optimal transport algorithm on toy examples and on the unpaired image-to-image translation.

연구 동기 및 목표

• 강한 비용과 약한 비용 모두에서 최적 운반 맵과 계획을 계산하기 위한 확장 가능하고, 미분 가능한 딥러닝 프레임워크를 개발하는 것.
• 딥 뉴럴 네트워크가 확률 분포 간 운반 계획을 보편적으로 근사할 수 있음을 증명하여, 최적 운반에 있어서 신경망의 사용을 정당화하는 것.
• 기존 방법들이 마진 제약 조건을 충족시키지 못하거나 랭그비안 동역학과 같은 느린 샘플링 절차에 의존하는 한계를 해결하는 것.
• 구조적 및 분포적 성질을 유지하는 운반 맵을 학습함으로써 고품질의 쌍방향이 아닌 이미지 간 번역을 가능하게 하는 것.

제안 방법

• 약한 최적 운반의 이중 공식에 기반한 새로운 최적화 프레임워크를 제안하며, 이를 최대-최소 사다리꼴 문제로 재구성한다.
• 딥 뉴럴 네트워크로 파arameter화된 확률적 맵 $ T: \mathcal{X} \times \mathcal{Z} \to \mathcal{Y} $ 를 사용하여 조건부 운반 계획을 모델링한다.
• 이중 변수 $ f $ 를 통한 미분 가능한 목표 함수를 구현하여, 연합 분포의 푸시포워드가 목표와 일치하도록 마진 제약 조건을 강제한다.
• 운반 맵을 훈련하기 위해 $ \max_f \min_T $ 의 최소-최대 최적화 기법을 적용하여, backpropagation를 통한 엔드 투 엔드 학습을 가능하게 한다.
• $ \mathbb{W}_2 $ (결정론적) 및 $ \mathcal{W}_{2,\gamma} $ (확률적) 비용 모두에 적용하여, 일대일 및 일대다 매핑을 지원한다.
• 약한 비용 함수 $ C(x, \mu) $ 를 위한 변분 근사법을 사용하여, 스코어 기반 모델이나 반복적 샘플링에 의존하지 않고도 효율적인 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 확률 분포 간 최적 운반 계획을 보편적으로 근사할 수 있는가?
• RQ2 미분 가능하고 엔드 투 엔드로 작동하는 딥러닝 프레임워크는 강한 비용과 약한 비용 모두에서 결정론적 및 확률적 최적 운반 맵을 효과적으로 계산할 수 있는가?
• RQ3 제안된 신경 최적 운반(Neural Optimal Transport) 방법은 쌍방향이 아닌 이미지 간 번역 작업에서 기존 방법들을 능가하는가?
• RQ4 이 방법은 CelebA, 실외에서 교회로, 핸드백에서 신발로의 다양한 데이터셋에 잘 일반화되는가?
• RQ5 확률적 운반 맵은 구조적 일致성을 유지하면서 다양한 실재감 있는 번역 결과를 생성할 수 있는가?

주요 결과

• 제안된 신경 최적 운반(Neural Optimal Transport) 방법은 CelebA(여성에서 애니메이션), 실외에서 교회로, 핸드백에서 신발로의 여러 벤치마크에서 쌍방향이 아닌 이미지 번역 분야에서 최신 기술 성능(SOTA)을 달성한다.
• 이 방법은 결정론적(일대일) 및 확률적(일대다) 운반 맵을 성공적으로 계산하여 다양한 고해상도의 이미지 번역을 가능하게 한다.
• 절단 분석 결과, 동기화된 노이즈 벡터를 사용하더라도 서로 다른 입력 간에 공통의 시각적 결함이 발생하지 않음을 확인하여, 확률적 맵이 각 입력에 대해 다양성을 갖는 출력을 생성함을 시사한다.
• 프레임워크는 대규모 시각 작업에 잘 일반화되어 있으며, $ 128 \times 128 $ 와 $ 64 \times 64 $ 해상도에서 고품질 번역 결과를 생성한다.
• 이론적 증명을 통해 딥 뉴럴 네트워크가 운반 계획을 보편적으로 근사할 수 있음을 입증하여, 신경망을 최적 운반에 활용하는 데 강력한 기초를 제공한다.
• 이 방법은 랭글비안 동역학과 같은 계산 비용이 큰 샘플링 절차를 피하여, 스코어 기반 대안 대비 더 빠른 훈련 및 추론을 가능하게 한다.