[논문 리뷰] SoftSort: A Continuous Relaxation for the argsort Operator

Sebastian Prillo, Julian Martin Eisenschlos|arXiv (Cornell University)|2020. 06. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 13인용 수 6

한 줄 요약

이 논문은 딥러닝에서 미분 가능한 정렬을 가능하게 하는 argsort 연산자에 대한 단순하고 효율적인 연속적 근사인 SoftSort를 소개한다. 각 순서가 매겨진 원소와의 음의 L1 거리에 대한 소프트맥스를 계산하여 SoftSort는 최신 기술 수준의 성능을 달성하며, 이전 방법들인 NeuralSort보다 빠르며, 수학적 분석을 단순화하면서도 강력한 최적화 성질을 유지한다.

ABSTRACT

While sorting is an important procedure in computer science, the argsort operator - which takes as input a vector and returns its sorting permutation - has a discrete image and thus zero gradients almost everywhere. This prohibits end-to-end, gradient-based learning of models that rely on the argsort operator. A natural way to overcome this problem is to replace the argsort operator with a continuous relaxation. Recent work has shown a number of ways to do this, but the relaxations proposed so far are computationally complex. In this work we propose a simple continuous relaxation for the argsort operator which has the following qualities: it can be implemented in three lines of code, achieves state-of-the-art performance, is easy to reason about mathematically - substantially simplifying proofs - and is faster than competing approaches. We open source the code to reproduce all of the experiments and results.

연구 동기 및 목표

• 미분 가능한 모델에서 엔드 투 엔드 훈련을 방해하는 argsort 연산자에서의 0 기울기 문제를 해결하기 위해.
• 계산적으로 효율적이고 구현이 쉬운 argsort에 대한 연속적 근사를 개발하기 위해.
• 이전의 접근 방식들인 NeuralSort와 비교해, 미분 가능한 정렬에 대한 수학적 추론을 단순화하기 위해.
• 기존 방법들과 비교해 성능가능하거나 이를 초월하면서도 계산 오버헤드를 줄이기 위해.

제안 방법

• SoftSort는 입력 벡터에서 각 원소와 r번째로 큰 값 사이의 음의 L1 거리에 대해 행 단위로 소프트맥스를 계산하여 소프트 정렬 순열을 산출한다.
• 이 방법은 온도 하이퍼파라미터 τ를 사용하여 근사의 날카움을 조절하며, τ → 0일 때 진짜 argsort로 수렴한다.
• 핵심 연산은 SoftSort^d_τ(s) = softmax( -d(sort(s)1^T, 1s^T) / τ )로 정의되며, 여기서 d는 반거리수단(예: |x−y|)이다.
• 이 접근법은 PyTorch 및 TensorFlow와 같은 표준 자동 미분 프레임워크를 활용하여 딥러닝 파ip라인에 원활하게 통합할 수 있다.
• SoftSort는 행 단위로 스토하스틱이며, 행 단위 argmax를 통해 유효한 순열 행렬로 투영될 수 있어 해석 가능성을 유지한다.
• 이 방법은 모듈러하고 확장 가능하여, 이론적 보장을 유지하면서도 다양한 거리 함수 d를 사용할 수 있다.

실험 결과

연구 질문

• RQ1 간단하고 효율적이면서도 높은 성능을 유지하는 argsort에 대한 연속적 근사를 설계할 수 있는가?
• RQ2 SoftSort는 NeuralSort와 같은 기존의 미분 가능한 정렬 방법보다 속도와 최적화 효율성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ3 새로운 근사 접근법을 통해 미분 가능한 정렬에 대한 수학적 분석을 상당히 단순화할 수 있는가?
• RQ4 SoftSort는 재정렬 및 순위 매기기 작업을 포함한 다양한 벤치마크에서 어떻게 성능을 발휘하는가?
• RQ5 다양한 거리 함수 d가 SoftSort의 수렴성과 성능에 어떤 영향을 미치는가?

주요 결과

• SoftSort는 재정렬, 매칭 작업을 포함한 여러 벤치마크에서 최신 기술 수준의 성능을 달성하며, NeuralSort와 비슷하거나 略적으로 뛰어나다.
• CPU 및 GPU 모두에서 입력 크기 n=4000 이하일 경우, SoftSort는 NeuralSort의 구현보다 약 6배 빠르다.
• 최적화된 NeuralSort 버전과 비교해도, CPU에서는 80% 빠르고 GPU에서는 40% 더 빠르다.
• d=|·|를 사용한 SoftSort와 NeuralSort의 학습 곡선은 거의 동일하여 최적화 역학이 유사함을 시사한다.
• 합성 정렬 작업에서 d=|·|²를 사용한 SoftSort는 d=|·|보다 수렴 속도가 빠르며, 거리 함수 선택에 민감함을 시사한다.
• 가장 열악한 입력 순서에서도 뚜렷한 속도 저하가 관찰되지 않았으며, 입력을 섞는 것으로 잠재적인 성능 문제를 추가로 완화할 수 있다.