[논문 리뷰] An algorithm to compute the Hoffman constant of a system of linear constraints

Javier Peña, Juan C. Vera외 1명|arXiv (Cornell University)|2018. 04. 23.

Advanced Optimization Algorithms Research참고 문헌 32인용 수 3

한 줄 요약

이 논문은 상자 경계와 같은 쉽게 만족 가능한 제약 조건을 포함한 선형 제약 조건 시스템에 대한 Hoffman 상수를 계산하기 위한 조합적 알고리즘을 제시한다. 이 방법은 Hoffman 상수를 유한하고 다루기 쉬운 부분문제 집합 위에서의 최대값으로 특성화함으로써, 잘 정의된 부분시스템에서 볼록 최적화를 통해 정확한 계산을 가능하게 한다.

ABSTRACT

We propose a combinatorial algorithm to compute the Hoffman constant of a system of linear equations and inequalities. The algorithm is based on a characterization of the Hoffman constant as the largest of a finite canonical collection of easy-to-compute Hoffman constants. Our algorithm and characterization extend to the more general context where some of the constraints are easy to satisfy as in the case of box constraints. We highlight some natural connections between our characterizations of the Hoffman constant and Renegar's distance to ill-posedness for systems of linear constraints.

연구 동기 및 목표

• 일반적인 선형 부등식 및 등식 시스템에 대한 정확한 Hoffman 상수를 계산하기 위한 효율적인 알고리즘을 개발하는 것.
• 상자 경계와 같은 쉽게 만족 가능한 제약 조건을 포함한 시스템으로 Hoffman 상수의 계산을 확장하는 것.
• 전사 부분매핑 성질에 기반한 Hoffman 상수의 특성화를 제공하여 계산 가능성을 보장하는 것.
• 선형 시스템에서 Hoffman 상수와 Renegar의 악성 문제로부터의 거리 사이의 관계를 규명하는 것.
• 가용성 및 최적성에 대한 계산 가능한 오차 한계를 제공함으로써 현대 최적화 알고리즘을 지원하는 것.

제안 방법

• 알고리즘은 부분매핑 $ x \mapsto A_J x + \mathbb{R}^J_+ $ 가 전사인 모든 부분집합 $ J \notin ext{S}(A) $ 에서의 최대값으로 Hoffman 상수를 특성화한 데 기반한다.
• 이것은 $ H(A) = \max_{J \in \mathcal{S}(A)} \frac{1}{\min_{v \in \mathbb{R}^J_+, \|v\|^* = 1} \|A_J^T v\|^*} $ 로 표현되며, 검색 범위를 유한하고 다루기 쉬운 부분집합 집합으로 줄인다.
• 알고리즘은 전체 열거를 피하기 위해 최소한의 표준 부분집합 $ \mathcal{F} \subseteq \mathcal{S}(A) $ 를 식별하여 최대값 계산에 충분함을 보장한다.
• 각 후보 $ J $ 에 대해 내부 최소화 $ \min_{v \in \mathbb{R}^J_+, \|v\|^* = 1} \|A_J^T v\|^* $ 는 볼록 최적화를 사용하여 계산된다.
• 이 프레임워크는 등식과 부등식을 모두 포함한 시스템, 그리고 상자 경계와 같이 자명하게 만족 가능한 제약 조건이 있는 경우에도 확장 가능하다.
• 이론적 기초는 다면체 부분선형 매핑과 얼굴 감소 기법에 기반하며, Hoffman 상수는 특정 선형 매핑의 역노름과 연결된다.

실험 결과

연구 질문

• RQ1 일반적인 선형 제약 조건 시스템, 특히 쉽게 만족 가능한 제약 조건을 포함한 경우에 대해 Hoffman 상수를 정확하게 어떻게 계산할 수 있는가?
• RQ2 제약 행렬 $ A $ 가 어떤 구조적 성질을 가지면 Hoffman 상수의 계산이 효율적으로 가능해지는가?
• RQ3 Hoffman 상수는 선형 시스템에서 Renegar의 악성 문제로부터의 거리와 어떻게 관련이 있는가?
• RQ4 유한하고 계산 가능성이 높은 부분시스템 집합이 Hoffman 유형 부등식의 최악의 오차 한계를 포괄할 수 있는가?
• RQ5 부분시스템의 잘 정의된 성질이 전역 Hoffman 상수를 특성화하는 데 어떤 역할을 하는가?

주요 결과

• Hoffman 상수 $ H(A) $ 는 잘 정의된 부분시스템에 해당하는 쉽게 계산 가능한 유한한 부분문제 집합 위에서의 최대값으로 정확히 특성화된다.
• 알고리즘은 $ \mathcal{F} \subseteq \mathcal{S}(A) $ 의 표준 부분집합에서 $ \frac{1}{\min_{v \in \mathbb{R}^J_+, \|v\|^* = 1} \|A_J^T v\|^*} $ 를 평가하여 $ H(A) $ 를 계산하며, 지수적 열거를 피한다.
• 이 방법은 등식과 부등식을 모두 포함한 시스템과 상자 경계가 포함된 경우에도 일반화 가능하며, 이러한 제약 조건은 자명하게 만족 가능하다고 간주된다.
• 최근 최적화 방법에서 제안된 얼굴 거리 또는 피라미드 폭은 이 일반화된 Hoffman 상수의 특수한 경우로 나타난다.
• 이 특성화는 Hoffman 상수와 Renegar의 악성 문제로부터의 거리 사이의 직접적인 연결을 수립한다: $ 1/H(A) $ 는 $ Ax < 0 $ 이 비가능해지게 만드는 최소한의 변형과 같다.
• 이 프레임워크는 다면체 부분선형 매핑을 통한 오차 한계의 통합적 접근을 제공하여, Hoffman 유형 상수의 체계적 유도를 가능하게 한다.