[논문 리뷰] An explicit analysis of the entropic penalty in linear programming

Jonathan Weed|arXiv (Cornell University)|2018. 06. 05.

Advanced Optimization Algorithms Research참고 문헌 37인용 수 11

한 줄 요약

이 논문은 선형 프로그래밍에서 엔트로피 페널티의 비점근적이고 명시적인 분석을 제공하며, 페널티가 가해진 해가 진짜 최적해로 수렴하는 데 지수적 수렴 속도를 증명하고 명시적인 상수를 제시한다. 이는 최적 운반 이론과 최적화 분야에서 오랫동안 존재해 온 격차를 메우며, 계산 효율성과 근사 정확도 사이의 상호 작용을 정량화하는 단순하고 구성적인 증명을 제공한다.

ABSTRACT

Solving linear programs by using entropic penalization has recently attracted new interest in the optimization community, since this strategy forms the basis for the fastest-known algorithms for the optimal transport problem, with many applications in modern large-scale machine learning. Crucial to these applications has been an analysis of how quickly solutions to the penalized program approach true optima to the original linear program. More than 20 years ago, Cominetti and San Martín showed that this convergence is exponentially fast; however, their proof is asymptotic and does not give any indication of how accurately the entropic program approximates the original program for any particular choice of the penalization parameter. We close this long-standing gap in the literature regarding entropic penalization by giving a new proof of the exponential convergence, valid for any linear program. Our proof is non-asymptotic, yields explicit constants, and has the virtue of being extremely simple. We provide matching lower bounds and show that the entropic approach does not lead to a near-linear time approximation scheme for the linear assignment problem.

연구 동기 및 목표

• 선형 프로그래밍의 진짜 최적해에 대해 엔트로피 정규화가 얼마나 빨리 수렴하는지 이해하는 데 오랫동안 존재해 온 격차를 메우는 것.
• 엔트로피 페널티 방법에 대한 비점근적 증명을 통해 지수적 수렴을 보이며, 명시적인 상수를 도출하는 것.
• 실제 응용 분야인 최적 운반과 같은 분야에서 페널티 매개수 η와 근사 정확도 사이의 상호 작용을 명확히 하는 것.
• 선형 할당 문제에 대해 엔트로피 방법이 근사 선형 시간 근사 체계를 제공하지 않는다는 것을 보여주는 하한값을 설정하는 것.

제안 방법

• 엔트로피 기반의 이중성과 볼록성 논증을 사용하여, 페널티가 가해진 프로그램과 원래의 선형 프로그래밍 간의 이중성 갭에 대한 비점근적 경계를 유도한다.
• 샤논 엔트로피 함수의 강한 볼록성에 기반한 변분 논증을 적용하여, 페널티가 가해진 해가 진짜 최적해에서 벗어나지 않도록 제어한다.
• 지수 함수를 포함하는 이중 문제로 페널티 프로그램을 변환하여 수렴 속도를 명시적으로 추정할 수 있도록 한다.
• 점근적 근사치를 피하는 구성적 증명 기법을 사용하며, 엔트로피와 확률 벡터를 포함한 명시적 부등식에 의존한다.
• η에 대해 가정된 선형 프로그램의 가족을 구성함으로써, 수렴 속도가 η에 대해 지수적으로 증가함을 증명함으로써 날카운 하한값을 설정한다.
• 비르호프 다면체의 경우를 분석하여, 엔트로피 방법이 선형 할당 문제에 대해 근사 선형 시간 근사 체계를 제공하지 않는다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 페널티 매개수 η가 증가함에 따라 엔트로피 페널티가 가해진 선형 프로그래밍의 해가 진짜 최적해로 수렴하는 속도는 어떠한가?
• RQ2 콤리니와 산 마르티네의 (1994) 점근적 수렴 결과를 계산 가능한 상수를 갖는 비점근적이고 명시적인 형태로 전환할 수 있는가?
• RQ3 원래 선형 프로그래밍에 대해 주어진 근사 정확도를 달성하기 위해 필요한 η의 최소값은 얼마인가?
• RQ4 엔트로피 정규화 방법은 선형 할당 문제에 대해 근사 선형 시간 근사 체계를 제공하는가?
• RQ5 이론적 경계는 작을 수록 성능이 좋다고 보이지만, 실세계의 최적 운반 데이터에서는 작은 η가 왜 좋은 성능을 내는가?

주요 결과

• 논문은 선형 프로그래밍에서 엔트로피 페널티 방법에 대해 비점근적이고 명시적인 지수 수렴 속도를 확립하였으며, 명시적인 c > 0에 대해 exp(−cη) 형태의 수렴 속도를 갖는다.
• 수렴 속도는 페널티 매개수 η에 따라 지수적으로 감소하는 이중성 갭에 대한 경계로 표현되며, 문제의 구조에서 유도된 명시적인 상수를 포함한다.
• 일치하는 하한값이 증명되었다: 임의의 η에 대해, 이중성 갭이 적어도 exp(−Cη) 이상인 선형 프로그램이 존재함을 보여, 수렴 속도가 날카로움을 입증한다.
• 엔트로피 방법은 선형 할당 문제에 대해 근사 선형 시간 근사 체계를 제공하지 않으며, 필요한 η가 문제 크기에 따라 증가하기 때문이다.
• 이 분석은 Cominetti와 San Martín의 점근적 결과를 완전히 정량화하고 구성적으로 만듦으로써 오랫동안 존재해 온 이론적 격차를 메운다.
• 증명은 이전의 연구보다 훨씬 단순하며, 기본적인 볼록성과 엔트로피 부등식에만 의존하며, 어떤 선형 프로그램에도 구조적 가정 없이 적용 가능하다.