[논문 리뷰] Beyond Moore-Penrose Part I: Generalized Inverses that Minimize Matrix Norms

Ivan Dokmanić, Rémi Gribonval|arXiv (Cornell University)|2017. 06. 26.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 16

한 줄 요약

이 논문은 프로베니우스 노름을 초과하는 다양한 행렬 노름을 최소화하는 일반화된 역행렬의 프레임워크를 제안하며, 무어-펜로즈 의사역행렬(MPP)이 더 넓은 범위의 유니터리 불변 노름을 최소화함을 보여준다. 희박 복원 및 역문제에서 혼합 노름과 ℓ^p→ℓ^q 노름을 최소화하는 대체 역행렬이 더 우수한 성능을 보일 수 있는 조건을 규명하며, 핵심 결과로 MPP가 특정 설정에서 p=2일 때에만 유일한 노름 최소화 역행렬임을 밝힌다.

ABSTRACT

This is the first paper of a two-long series in which we study linear generalized inverses that minimize matrix norms. Such generalized inverses are famously represented by the Moore-Penrose pseudoinverse (MPP) which happens to minimize the Frobenius norm. Freeing up the degrees of freedom associated with Frobenius optimality enables us to promote other interesting properties. In this Part I, we look at the basic properties of norm-minimizing generalized inverses, especially in terms of uniqueness and relation to the MPP. We first show that the MPP minimizes many norms beyond those unitarily invariant, thus further bolstering its role as a robust choice in many situations. We then concentrate on some norms which are generally not minimized by the MPP, but whose minimization is relevant for linear inverse problems and sparse representations. In particular, we look at mixed norms and the induced $\ell^p ightarrow \ell^q$ norms. An interesting representative is the sparse pseudoinverse which we study in much more detail in Part II. Next, we shift attention from norms to matrices with interesting behaviors. We exhibit a class whose generalized inverse is always the MPP-even for norms that normally result in different inverses-and a class for which many generalized inverses coincide, but not with the MPP. Finally, we discuss efficient computation of norm-minimizing generalized inverses.

연구 동기 및 목표

• 일반화된 역행렬의 이해를 무어-펜로즈 의사역행렬을 초월하여 다양한 행렬 노름을 최소화하는 역행렬을 연구함으로써 확장한다.
• 혼합 노름과 ℓ^p→ℓ^q 노름과 같은 노름을 최소화하는 비-MPP 역행렬이 성립하는 조건을 규명하며, 이는 희박 표현에 관련된다.
• 무어-펜로즈 의사역행렬이 유일한 노름 최소화 역행렬이 되는 행렬 클래스를 특성화하고, MPP가 아니지만 여러 역행렬이 일치하는 경우를 규명한다.
• 노름 최소화 일반화된 역행렬의 효율적 계산을 위한 이론적 기초를 구축한다.
• 희박 의사역행렬을 심층적으로 조사하는 제2부의 기초를 마련한다.

제안 방법

• 논문은 임의의 행렬 노름을 최소화하는 일반화된 역행렬의 유일성과 구조를 분석하며, 유니터리 불변 및 비유니터리 불변 노름에 집중한다.
• 기하학적 및 변분적 추론을 사용하여 무어-펜로즈 의사역행렬이 프로베니우스 노름 이외의 노름을 최소화할 조건을 유도한다.
• 희박 의사역행렬을 도입하고, AX=I 제약 조건 하에 벡터화된 역행렬의 ℓ^1 노름을 최소화하는 역행렬로 연구한다.
• MPP가 특정 ℓ^p→ℓ^q 노름을 최소화하지 않는 행렬에 대한 명시적 반례를 구성함으로써, 서로 다른 최적의 역행렬이 존재함을 입증한다.
• 볼록성 추론 및 도함수 분석과 같은 분석 기법을 사용하여, 특정 행렬 구성에서 노름 최소화 방정식이 p=2일 때에만 0이 됨을 증명한다.
• 특히 질량이 떨어진 설정에서 투사 행렬의 구조와 노름 최소화 간의 연결 고리를 설정한다.

실험 결과

연구 질문

• RQ1 무어-펜로즈 의사역행렬이 프로베니우스 노름을 초월하는 행렬 노름을 최소화하는 조건은 무엇인가?
• RQ2 유니터리 불변 노름이 아닌 어떤 행렬 노름에서 무어-펜로즈 의사역행렬이 최적성이 아니며, 그로 인해 유도되는 일반화된 역행렬은 무엇인가?
• RQ3 ℓ^p→ℓ^q 노름 또는 혼합 노름을 최소화하는 일반화된 역행렬은 효율적으로 계산 가능하며, 희박 복원에서 더 나은 성능을 낼 수 있는가?
• RQ4 무어-펜로즈 의사역행렬이 유일한 노름 최소화 역행렬이 되는 행렬 클래스와, MPP가 아니지만 여러 역행렬이 일치하는 행렬 클래스는 무엇인가?
• RQ5 주어진 행렬에 대해 MPP가 ℓ^p→ℓ^q 노름을 최소화하는 정확한 조건은 무엇이며, 언제 실패하는가?

주요 결과

• 무어-펜로즈 의사역행렬은 광범위한 유니터리 불변 노름을 최소화하며, 이는 행렬 역행렬에서의 강력한 선택임을 재확인한다.
• p≠2인 ℓ^p→ℓ^q 노름의 경우 무어-펜로즈 의사역행렬은 최소화자가 아니며, 이러한 노름을 위해 최적인 대체 역행렬이 존재한다.
• 희박 의사역행렬은 AX=I 제약 조건 하에 벡터화된 역행렬의 ℓ^1 노름을 최소화하는 해로 정의되며, 단순한 부분행렬 역행렬과 달리 잘 조절되고 희박한 역행렬을 제공함을 입증한다.
• MPP가 비유니터리 불변 노름에서도 유일한 노름 최소화 역행렬이 되는 행렬이 존재한다.
• 특정 3×3 행렬 구성에서 MPP는 ℓ^p→ℓ^q 노름의 유일한 최소화자이지만, p=2일 때에만 해당하며 p>2 또는 p<2일 땐 그렇지 않다.
• 논문은 구성된 예시에서 노름 최소화 방정식이 p=2일 때에만 0이 됨을 분석적으로 증명하여, MPP가 정확히 p=2일 때에만 이 경우에서 최적임을 확인한다.