[논문 리뷰] Differentiable Ranks and Sorting using Optimal Transport

Marco Cuturi, Olivier Teboul외 1명|arXiv (Cornell University)|2019. 05. 28.

Machine Learning and Algorithms참고 문헌 39인용 수 11

한 줄 요약

이 논문은 엔트로피 정규화를 적용한 최적 운반(OT)을 사용하여 정렬과 순위 매기기의 미분 가능 대체물(differentiable proxies)을 제안한다. 이는 딥러닝에서 엔드 투 엔드 학습을 가능하게 한다. 정렬을 최적 운반 배정 문제로 공식화하고, 싱크혼 반복를 통해 해결함으로써 부드럽고 미분 가능한 순위 및 정렬 연산자를 생성하며, 이는 분위수 회귀 및 분류 작업에서 비미분 가능 기준보다 뛰어난 성능을 보인다.

ABSTRACT

Sorting an array is a fundamental routine in machine learning, one that is used to compute rank-based statistics, cumulative distribution functions (CDFs), quantiles, or to select closest neighbors and labels. The sorting function is however piece-wise constant (the sorting permutation of a vector does not change if the entries of that vector are infinitesimally perturbed) and therefore has no gradient information to back-propagate. We propose a framework to sort elements that is algorithmically differentiable. We leverage the fact that sorting can be seen as a particular instance of the optimal transport (OT) problem on $\mathbb{R}$, from input values to a predefined array of sorted values (e.g. $1,2,\dots,n$ if the input array has $n$ elements). Building upon this link , we propose generalized CDFs and quantile operators by varying the size and weights of the target presorted array. Because this amounts to using the so-called Kantorovich formulation of OT, we call these quantities K-sorts, K-CDFs and K-quantiles. We recover differentiable algorithms by adding to the OT problem an entropic regularization, and approximate it using a few Sinkhorn iterations. We call these operators S-sorts, S-CDFs and S-quantiles, and use them in various learning settings: we benchmark them against the recently proposed neuralsort [Grover et al. 2019], propose applications to quantile regression and introduce differentiable formulations of the top-k accuracy that deliver state-of-the art performance.

연구 동기 및 목표

• 딥러닝 파이프라인에서 표준 정렬 및 순위 매기기 연산의 비미분 가능성 문제를 해결하기 위해.
• 톱-k 정확도와 0/1, 분위수 회귀와 같은 손실 함수에서 핵심이 되는 이산적 순위 및 정렬 연산자에 대한 부드럽고 미분 가능한 대체물 개발을 위해.
• 최적 운반 이론을 활용하여 표준 n-to-n 정렬을 초월하는 유연한 목표 측도(점의 수 m ≠ n)로 정렬을 일반화하기 위해.
• 이산적 연산을 부드럽고 기울기 우호적인 대체물로 대체함으로써 순위 기반 지표를 미분 가능한 학습 목표로 사용할 수 있도록 하기 위해.
• 분위수 회귀 및 다중 분류 작업에서의 실용적 유용성을 입증하기 위해 0/1 손실의 부드러운 근사치를 사용한 응용 사례 제시를 위해.

제안 방법

• 입력 값과 m개의 증가하는 값으로 구성된 목표 측도 사이의 최적 할당 문제로 정렬을 공식화함으로써, 표준 n-to-n 정렬을 일반화함.
• 카란토비치 순위 및 정렬 연산자를 최적 운반 계획을 통한 순위 및 정렬된 값의 볼륨 조합으로 정의함.
• 싱크혼 알고리즘을 통해 효율적으로 해결할 수 있도록 엔트로피 페널티로 OT 문제를 정규화함으로써 O(nmℓ) 복잡도를 달성함(ℓ 반복 횟수 기준).
• 기울기 안정성을 향상시키기 위해 미분 가능한 스quashing 함수와 비용 함수를 사용함. 입력을 [0,1]로 화이트닝하면 수치 안정성이 향상됨을 경험적으로 입증함.
• 부드러운 연산자를 사용하여 분류 작업에서 0/1 손실의, 그리고 회귀 작업에서 분위수 회귀 손실의 미분 가능한 대체물로 정의함.
• 소형 배치 최적화를 적용하고, 싱크혼 순위 연산자를 사용하여 소프트 분위수 추정을 수행함으로써, 이산적 분위수 점 선택을 미분 가능한 소프트 선택으로 대체함.

실험 결과

연구 질문

• RQ1 기계학습 작업에서 의미를 유지하면서 정렬 및 순위 매기기를 비틀 수 있는가?
• RQ2 최적 운반 이론을 어떻게 활용하여 표준 n-to-n 매핑을 초월하는 일반화된 정렬 연산을 만들 수 있는가?
• RQ3 엔트로피 정규화와 싱크혼 반복가 순위 및 정렬 연산자의 미분 가능성과 수치 안정성에 어떤 영향을 미치는가?
• RQ4 미분 가능한 순위 및 정렬 연산자가 분위수 회귀 및 분류 작업의 학습 동역학을 향상시킬 수 있는가?
• RQ5 비용 함수, 목표 벡터, 스quashing 함수의 선택이 정규화된 OT 프레임워크 내 기울기 안정성에 어떤 영향을 미치는가?

주요 결과

• ε = 10⁻²로 설정된 제안된 소프트 분위수 연산자는 여러 데이터셋에서 50% 및 90% 분위수에서 비미분 기준(ε = 0)보다 더 낮은 훈련 분위수 오차를 달성함.
• 테스트 세트 성능(분위수 오차 및 MSE 기준)은 제안 방법과 기준 방법 간 유사하게 유지되어, 일반화 능력 저하 없이 훈련 최적화 향상을 달성함.
• 최소한의 하이퍼파rameter 튜닝으로 안정적인 훈련을 달성하였으며, 입력을 [0,1]로 화이트닝하고 스쿼시한 후 처리하면 수치 안정성이 크게 향상됨.
• 목표 측도 크기(m)를 3까지 줄여도 성능 저하가 없이 유지되어, 이 방법의 유연성과 효율성을 입증함.
• 미분 가능한 순위 및 정렬 연산자를 통해 토포-카 정확도 및 0/1 손실과 같은 순위 기반 지표를 미분 가능한 학습 목표로 사용할 수 있게 되어 엔드 투 엔드 학습이 가능해짐.
• 경험 결과로는 부드러운 최적화 지형이 국소 최소값을 감소시켜 분위수 회귀 작업에서 더 일관된 수렴을 이끌어냄.