[논문 리뷰] Smoothed Analysis of Algorithms: Why the Simplex Algorithm Usually Takes Polynomial Time

Daniel A. Spielman, Shang‐Hua Teng|arXiv (Cornell University)|2001. 11. 19.

Advanced Optimization Algorithms Research참고 문헌 33인용 수 52

한 줄 요약

이 논문은 최악의 경우 분석과 평균 케이스 분석 사이의 하이브리드 프레임워크로 스무딩 분석(smoothed analysis)을 도입하며, 선형 프ogramming의 심플렉스 알고리즘에 적용한다. 입력에 작은 랜덤 편향을 가미한 경우, 심플렉스 방법이 기대값으로 다항 시간 내에 실행됨을 증명하여, 이론적 최악의 경우 복잡도와 실용적 성능 사이의 오랫동안 지속된 괴리 문제를 해결한다.

ABSTRACT

We introduce the smoothed analysis of algorithms, which is a hybrid of the worst-case and average-case analysis of algorithms. In smoothed analysis, we measure the maximum over inputs of the expected performance of an algorithm under small random perturbations of that input. We measure this performance in terms of both the input size and the magnitude of the perturbations. We show that the simplex algorithm has polynomial smoothed complexity.

연구 동기 및 목표

• 심플렉스 알고리즘의 최악의 경우 지수 시간 복잡도와 실질적 성능이 뛰어난 데 대한 괴리 문제를 해결하기 위해.
• 입력이 균일하게 랜덤이라고 가정하는 평균 케이스 분석의 한계를 극복하기 위해.
• 최악의 입력에 대한 작은 랜덤 편향을 가미한 상황에서 알고리즘 성능을 평가하는 새로운 분석 프레임워크인 스무딩 분석을 개발하기 위해.
• 심플렉스 알고리즘의 다항 스무딩 복잡도를 확립하여, 악성 입력에 대해서도 약간의 편향을 가미하면 일반적으로 효율적으로 작동함을 보여주기 위해.

제안 방법

• 입력에 대한 작은 가우시안 편향을 가미한 상황에서의 기대 실행 시간의 최대값으로 스무딩 분석을 정의한다.
• 목적 함수의 影을 가시화하는 가시화 경로를 따라가는 심플렉스 알고리즘의 변형인 샤페로드 정점 방법을 적용한다.
• 벡터 간의 거리 및 각도의 경계를 포함한 기하학적 및 확률적 도구를 사용하여 그림자 경로의 크기를 경계한다.
• 변수 변경과 자코비안 행렬식을 사용하여 편향된 제약 행렬의 확률 밀도를 분석한다.
• 가우시안 분포의 성질과 尾部 경계를 활용하여 악조건 또는 퇴화된 경우의 발생 가능성을 통제한다.
• 두 단계로 나누어 분석한다: 탐색을 시작하기 위한 탄력적인 기저를 찾는 단계와 目적 함수를 최적화하는 단계이며, 각 단계의 기대값으로의 스텝 수를 경계한다.

실험 결과

연구 질문

• RQ1 심플렉스 알고리즘이 최악의 경우 지수 시간 복잡도를 가짐에도 불구하고 실무에서 왜 잘 작동하는가?
• RQ2 비현실적인 평균 케이스 가정에 의존하지 않고도 심플렉스와 같은 알고리즘의 실용적 효율성을 설명할 수 있는 이론적 프레임워크를 개발할 수 있는가?
• RQ3 입력 데이터에 작은 랜덤 편향을 가미한 상황에서 심플렉스 알고리즘이 다항 기대 실행 시간을 가지는가?
• RQ4 스무딩 분석은 선형 프로그래밍에서의 퇴화 및 악조건 문제를 어떻게 다루는가?
• RQ5 스무딩 복잡도는 최악의 경우 성능이 열악한데도 실무에서 양호한 행동을 보이는 다른 알고리즘으로 확장될 수 있는가?

주요 결과

• 심플렉스 알고리즘은 입력 크기와 가우시안 편향의 표준편차에 대해 다항 스무딩 복잡도를 가진다.
• 샤페로드 정점 방법에서의 피벗 스텝 수의 기대값은 변수 수와 제약 조건 수, 그리고 편향의 표준편차의 역수에 대해 다항식으로 경계된다.
• 작은 편향을 가미한 상황에서 큰 그림자 경로를 가진 선형 프로그래밍 문제에 부딪힐 확률은 지수적으로 작다.
• 퇴화가 알고리즘의 진행을 방해하지 않으며, 동일한 정점에 대응하는 여러 기저가 존재하더라도 샤페로드 정점 방법은 여전히 그림자 방향으로 진행된다.
• 편향이 약한 기저를 유지하는 한, 가시화 집합이 낮은 차원의 약한 기저에 위치한 퇴화된 경우에도 분석이 적용된다.
• 相대 스무딩 복잡도의 문제는 아직 열려 있으나, 프레임워크는 적절한 편향 모델 하에서 심플렉스 방법이 다항 상대 스무딩 복잡도를 가질 수 있음을 시사한다.