[논문 리뷰] Solution of the optimal assignment problem by diagonal scaling algorithms

Meisam Sharify, Stéphane Gaubert외 1명|arXiv (Cornell University)|2011. 04. 19.

Markov Chains and Monte Carlo Methods참고 문헌 27인용 수 12

한 줄 요약

이 논문은 변형 매개수 p를 활용한 엔트로피 최대화를 통해 최적의 할당 문제를 해결하는 새로운 접근법을 제안한다. p → ∞일 때 해가 지수적으로 최적의 할당 행렬로 수렴함을 보이며, 이는 Sinkhorn 및 뉴턴 반복과 같은 대각 스케일링 알고리즘을 사용하여 계산된다. 이는 이후 정확한 해법에 필요한 메모리 요구량을 크게 줄일 수 있는 병렬 처리 가능한 사전처리 단계를 가능하게 한다. 대규모 밀집 문제의 크기를 최대 99%까지 감소시킨다.

ABSTRACT

We show that a solution of the optimal assignment problem can be obtained as the limit of the solution of an entropy maximization problem, as a deformation parameter tends to infinity. This allows us to apply entropy maximization algorithms to the optimal assignment problem. In particular, the Sinkhorn algorithm leads to a parallelizable method, which can be used as a preprocessing to handle large dense optimal assignment problems. This parallel preprocessing allows one to delete entries which do not belong to optimal permutations, leading to a reduced instance which becomes solvable with limited memory requirements.

연구 동기 및 목표

• 대규모 밀집 최적 할당 문제에 대해 확장 가능하고 병렬 처리 가능한 사전처리 방법을 개발하여 메모리 요구량을 낮추는 것.
• 변형 매개수 p를 통한 최적 할당 문제와 엔트로피 최대화 간의 이론적 연결 고리를 확립하는 것.
• p → ∞일 때 최적 할당 행렬로 수렴하는 반복 알고리즘(변형-Sinkhorn)을 설계하는 것.
• 큰 p 값에 대해 A^(p) 계산 시 오버플로우를 방지하기 위해 '로그-글래스'를 사용한 수치적으로 안정적인 구현을 제공하는 것.
• 사전처리 후에 축소된 문제의 정확성을 검증할 수 있는 근사 최적성 증명서를 제공하는 것.

제안 방법

• 최적 할당 문제를 매개수 p를 가진 엔트로피 최대화 문제의 극한으로 재정의하며, 목적 함수는 J_p(X) = -∑x_ij(log(x_ij/a_ij^p) - 1)이다.
• 엔트로피 최대화 문제의 해 X(p)는 p → ∞일 때 지수적으로 최적 할당 행렬로 수렴하며, |x_ij(p) - x_ij(∞)| = O(exp(-cp)) (c > 0)이다.
• Sinkhorn 알고리즘이 A^(p) 행렬을 이중확률 형식으로 스케일링하며, 비최적 할당에 대해 항목 값이 0에 수렴한다.
• 뉴턴 기반 방법을 사용하여 대각 스케일링 문제를 해결하며, f(x) = D(x)Ax - 1 = 0을 경로 추적 반복과 공액 기울기 해법을 사용해 선형 시스템을 풀어 해결한다.
• 사전처리 단계에서는 최종 스케일링된 행렬에서 상당한 값이 있는 항목들만 유지하고, 어떤 최적 순열에도 포함될 가능성이 낮은 항목들은 기각한다.
• A^(p) 계산 시 오버플로우를 방지하기 위해 '로그-글래스'—로그 스케일링을 통한 수치적 안정성 확보—를 통해 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 최적 할당 문제는 엔트로피 최대화 문제의 연속적 변형을 통해 해결될 수 있는가?
• RQ2 변형 매개수 p → ∞일 때 엔트로피 최대화 문제의 해가 최적 할당 행렬로 수렴하는가?
• RQ3 Sinkhorn 또는 뉴턴 반복과 같은 대각 스케일링 알고리즘이 실제로 이 극한을 효율적으로 계산하는 데 사용될 수 있는가?
• RQ4 이러한 방법을 통해 대규모 밀집 최적 할당 문제의 크기를 얼마나 줄일 수 있으며, 최적성은 유지되는가?
• RQ5 큰 p 값에 대해 수치적으로 안정적인 구현이 가능하여 A^(p) 계산 시 오버플로우를 방지할 수 있는가?

주요 결과

• 엔트로피 최대화 문제의 해 X(p)는 p → ∞일 때 지수적으로 최적 할당 행렬로 수렴하며, 오차는 O(exp(-cp)) (c > 0)로 감소한다.
• Sinkhorn 기반 사전처리 방법은 밀집 최적 할당 문제의 비제로 항목 수를 최대 99%까지 감소시키며, 42%의 케이스에서 원래 크기의 4% 미만으로 축소된다.
• 시험 케이스의 68%에서는 문제 크기가 원래 비제로 항목 수의 27% 미만으로 축소되어 메모리 요구량을 크게 낮춘다.
• 뉴턴 기반 변형은 Sinkhorn 변형보다 빠르게 수렴하며, 모든 테스트 행렬에서 200회 이내의 반복 수로 수렴이 관찰된다.
• pei, randcorr, toeppd 등의 행렬에서는 사전처리 단계에서 최적 순열에 속하는 항목들만 유지되어 최적 할당 식별에 100% 정확도를 달성한다.
• 이 방법은 사전처리 후 축소된 문제의 정확성을 검증할 수 있는 근사 최적성 증명서를 제공한다.