[논문 리뷰] Sparse pseudoinverses via LP and SDP relaxations of Moore-Penrose

Victor K. Fuentes, Marcia Fampa외 1명|arXiv (Cornell University)|2016. 06. 22.

Advanced Optimization Algorithms Research참고 문헌 10인용 수 11

한 줄 요약

이 논문은 1-노름 최소화와 선형계획법(LP) 및 준정형계획법(SDP)을 통한 볼록 근사화를 통해 모어-펜로즈(M-P) 성질을 완화시켜 여덟 가지 새로운 가역 가능한 희소 역행렬 공식을 제안한다. 이 방법은 희소성을 장려하면서도 핵심 M-P 특성을 유지하며, 볼록 최적화를 통해 효율적인 계산을 가능하게 하고, 희소성과 M-P 조건 준수 사이의 트레이드오���을 제공한다.

ABSTRACT

Pseudoinverses are ubiquitous tools for handling over- and under-determined systems of equations. For computational efficiency, sparse pseudoinverses are desirable. Recently, sparse left and right pseudoinverses were introduced, using 1-norm minimization and linear programming. We introduce several new sparse pseudoinverses by developing linear and semi-definite programming relaxations of the well-known Moore-Penrose properties.

연구 동기 및 목표

• 모어-펜로즈 역행렬의 바람직한 성질을 유지하면서도 희소성을 통해 계산 효율성을 향상시키는 새로운 희소 역행렬 공식을 개발하기 위해.
• 대규모 시스템에서 조밀한 역행렬의 계산 비효율성을 해결하기 위해 1-노름 최소화를 통한 희소성 유도를 통해 계산 효율성을 향상시키기 위해.
• 기존의 희소 왼쪽 및 오른쪽 역행렬 연구를 확장하여 전체 M-P 조건의 볼록 근사화를 통합하기 위해.
• 핵심 구조적 제약 조건을 유지하는 볼록 근사화를 통해 희소성과 M-P 성질 준수 간의 트레이드오프를 탐색하기 위해.
• 대규모 및 저질서 갱신 시나리오에 적합한 LP 및 SDP 공식화를 통해 희소 역행렬의 확장 가능한 계산을 가능하게 하기 위해.

제안 방법

• 모어-펜로즈 조건 네 가지를 완화하여 희소 역행렬을 구성한다: (P1) AHA = A, (P2) HAH = H, (P3) (AH)' = AH, (P4) (HA)' = HA.
• 해결책의 희소성을 유도하기 위해 H의 1-노름 최소화를 희소성 장려 보조 함수로 사용한다.
• 선형 M-P 조건 (P1), (P3), (P4)에 대해 선형계획법(LP) 근사를 적용하고, 비볼록 제곱 조건 (P2)는 볼록화 기법을 통해 근사화한다.
• 비볼록 제곱 제약 조건에 대해 준정형계획법(SDP) 근사를 사용하여 M-P 성질을 근사화하면서도 볼록성을 유지한다.
• 행렬 변수 설정에서 발생하는 삼차 및 이차 항을 처리하기 위해 보조 변수와 행렬 근사화를 도입한다.
• SDP 근사를 강화하고 근사 품질을 향상시키기 위해 분리절단(disjunctive cuts)과 다항식 시스템 근사화(예: [9]에서 제안된 바)를 활용한다.

실험 결과

연구 질문

• RQ1 모어-펜로즈 조건의 볼록 근사화는 희소성과 원래 M-P 역행렬에 대한 충실도 사이의 균형을 이루는 희소 역행렬을 생성할 수 있는가?
• RQ2 ℓ₁-최소화를 통한 희소성과 M-P 성질 준수 사이의 트레이드오프는 다양한 LP 및 SDP 근사화 기법에 따라 어떻게 달라지는가?
• RQ3 SDP 근사는 비볼록 M-P 조건 (P2)를 효과적으로 근사화하면서도 계산의 타당성을 유지할 수 있는가?
• RQ4 기존의 표준 희소 왼쪽/오른쪽 역행렬과 비교했을 때, 새로운 역행렬 공식은 솔루션 품질과 희소성 측면에서 어떻게 성능을 발휘하는가?
• RQ5 제안된 근사화는 저질서 갱신 또는 희소역행렬과 저질서 성분으로 분해된 행렬을 포함하는 행렬 변수 문제로 확장될 수 있는가?

주요 결과

• 제안된 LP 및 SDP 근사는 희소성과 정확성 사이의 통제된 트레이드오프를 유지하면서 핵심 M-P 성질을 만족하는 희소 역행렬을 성공적으로 생성한다.
• 계산 결과에 따르면 36×36 행렬에 대해 SDP 기반 근사는 약 95%의 희소성(0.95의 요소가 0)을 달성하면서도 M-P 조건을 높은 수준으로 준수한다.
• 더 큰 행렬에 대해 2-노름 기반 잔차 AHA − A의 상대 오차는 최대 1.18로 나타나, M-P 조건 (P1) 준수 수준이 매우 높음을 시사한다.
• 11,445개의 요소를 가진 행렬에 대해 SDP 근사는 89%의 희소성(0.89의 요소가 0)을 가진 역행렬을 생성하여 대규모 시스템에 대한 확장성을 입증한다.
• 분리절단과 더 강력한 SDP 근사를 사용할 경우 비볼록 M-P 조건 (P2)의 근사 품질이 향상되지만, 계산 노력 증가와 함께 희소성 감소가 수반된다.
• 초기 결과에 따르면 새로운 공식은 저질서 갱신 시나리오에 적합하며, Sherman-Morrison-Woodbury 확장 기반의 효율적 갱신 알고리즘 설계 가능성이 있다.