[논문 리뷰] Asynchronous Algorithms for Solving Linear Programs

Tarek A. Lahlou, Thomas A. Baran|arXiv (Cornell University)|2015. 02. 24.

Sparse and Compressive Sensing Techniques참고 문헌 11인용 수 3

한 줄 요약

이 논문은 전역 동기화가 필요 없이 최적 해로 수렴하는 비동기적, 분산 알고리즘을 제안한다. 선형 프로그래밍 문제를 비선형 신호 흐름 구조로 재구성하고, 정지점 반복을 통해 고정된 행렬과 기억이 없는 비선형성(Nonlinearity)을 활용함으로써, 임의의 지연과 계산 이질성 하에서도 수렴성을 확보한다. 수치 시뮬레이션을 통해 체비셰프 중심 문제와 베이시스 퍼스트 문제에서 검증되었다.

ABSTRACT

In this paper we design and analyze algorithms for asynchronously solving linear programs using nonlinear signal processing structures. In particular, we discuss a general procedure for generating these structures such that a fixed-point of the structure is within a change of basis the minimizer of an associated linear program. We discuss methods for organizing the computation into distributed implementations and provide a treatment of convergence. The presented algorithms are accompanied by numerical simulations of the Chebyshev center and basis pursuit problems.

연구 동기 및 목표

• 통신 지연과 프로세서 이질성에 강건한 분산 비동기 알고리즘을 설계한다.
• 분산 환경에서 동기화 및 통신 오버헤드로 인해 성능이 저하되는 전통적인 순차적이고 동기화된 최적화 방법의 한계를 해결한다.
• 정류 조건을 통해 선형 프로그래밍 문제를 고정점 문제로 변환하는 신호 흐름 구조 기반의 일반적 프레임워크를 개발한다.
• 안정성 이론과 동적 시스템 분석을 활용해 제안된 알고리즘의 수렴성을 보장한다.
• 체비셰프 중심과 베이시스 퍼스트와 같은 실용적 문제에 대해 접근법을 적용하여 강건성과 확장성을 입증한다.

제안 방법

• 모든 변수가 고정, 자유 또는 비음수로 제약되는 '비동기 형식'으로 표준형 선형 프로그래밍 문제를 재구성하고, 모든 제약 조건을 등식 기반으로 전환한다.
• 정규 행렬 G와 기억이 없는 비선형성 m(·)을 사용하여 정류 조건의 시스템을 구성하여, 이 시스템의 고정점이 원래 선형 프로그래밍 문제의 최적 해와 대응되도록 한다.
• 무작위로 발생하는 샘플링 및 유지 요소를 사용해 비동기 계산을 모델링하며, 이는 수렴성을 해치지 않는 임의의 지연을 도입한다.
• 지연 없는 루프를 대수적 방법 또는 비동기 지연 삽입을 통해 해결하여 시스템이 잘 정의되고 안정되도록 보장한다.
• 입력과 출력을 재구성된 문제의 변수에 매핑하는 신호 흐름 구조를 사용해 알고리즘을 구현하며, 비선형성은 비용 및 제약 조건 항을 표현한다.
• 초기 반복에서 호모토피 연속법을 사용해 수렴 성능을 향상시키고, 점차적으로 비선형성의 형태를 부드럽게 정확한 형태로 전환한다.

실험 결과

연구 질문

• RQ1 전역 동기화나 정밀한 타이밍이 필요 없이 분산 비동기 방식으로 선형 프로그래밍 문제를 효율적으로 해결할 수 있는가?
• RQ2 임의의 지연과 프로세서 이질성 하에서도 선형 프로그래밍 문제를 해결할 때 비동기 신호 흐름 구조의 수렴을 보장하는 조건은 무엇인가?
• RQ3 선형 프로그래밍 문제를 비선형 신호 처리에 적합한 형태로 재구성하여 최적 해로의 고정점 수렴을 보장할 수 있는가?
• RQ4 기저 퍼스트와 체비셰프 중심 계산과 같은 고차원 문제에서 제안된 알고리즘이 얼마나 강건성과 확장성을 유지하는가?
• RQ5 비선형성의 선택과 비동기 발동 확률이 실질적으로 수렴 속도와 정확도에 어떤 영향을 미치는가?

주요 결과

• 이론적 안정성 분석을 통해 제안된 비동기 알고리즘이 임의의 통신 지연과 처리 지연 하에서도 선형 프로그래밍 문제의 최적 해로 수렴함을 입증하였다.
• 수치 시뮬레이션 결과, 100차원 공간에서 200개의 랜덤 초평면을 고려한 체비셰프 중심 문제에서 중심이 파란 선으로 추적되며 고정점으로 수렴하는 것으로 나타났다.
• 512차원에서 16스pars리티 신호를 가진 베이시스 퍼스트 문제에 대해 1000회의 시행 모두에서 진짜 해를 성공적으로 복원하였고, 다양한 지연 확률(p = 0.2에서 0.8)에서도 수렴이 관찰되었다.
• 초기 반복에서 호모토피 방법을 사용함으로써 초기 수렴 성능이 크게 향상되었으며, 비선형성은 점차 부드럽게 정확한 형태로 전환되었다.
• 다양한 문제 사례에서 높은 강건성과 확장성을 보이며 안정적인 성능을 달성하였다.
• 기저 교환 하에서 신호 흐름 구조의 고정점은 원래 선형 프로그래밍 문제의 최소화자와 일치함을 확인하여 재구성의 정확성을 입증하였다.