[논문 리뷰] A Counterexample for the Validity of Using Nuclear Norm as a Convex Surrogate of Rank

Hongyang Zhang, Zhouchen Lin외 1명|arXiv (Cornell University)|2013. 04. 23.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 9

한 줄 요약

이 논문은 소음이 없는 잠재적 낮은 질서 표현(LatLRR)과 같은 단순한 모델에서도 랭크 최소화 문제에서 핵노름을 볼록 대체함수로 사용하는 것이 항상 타당하지 않음을 보여주는 이론적 반례를 제시한다. 저자들은 LatLRR의 핵노름 최소화 공식화의 해가 유일하지 않음을 증명하여, 해가 유일하다는 가정을 내세운 기존 LatLRR 결과의 신뢰성을 떨어뜨린다.

ABSTRACT

Rank minimization has attracted a lot of attention due to its robustness in data recovery. To overcome the computational difficulty, rank is often replaced with nuclear norm. For several rank minimization problems, such a replacement has been theoretically proven to be valid, i.e., the solution to nuclear norm minimization problem is also the solution to rank minimization problem. Although it is easy to believe that such a replacement may not always be valid, no concrete example has ever been found. We argue that such a validity checking cannot be done by numerical computation and show, by analyzing the noiseless latent low rank representation (LatLRR) model, that even for very simple rank minimization problems the validity may still break down. As a by-product, we find that the solution to the nuclear norm minimization formulation of LatLRR is non-unique. Hence the results of LatLRR reported in the literature may be questionable.

연구 동기 및 목표

• 낮은 질서 행렬 복원 문제에서 핵노름 최소화가 랭크 최소화를 신뢰성 있게 근사한다는 광범위한 가정을 도전하기 위해.
• 소음이 없고 단순한 랭크 최소화 문제인 LatLRR와 같은 경우에도 핵노름 대체함수의 실패 가능성을 보여주기 위해.
• LatLRR의 핵노름 최소화 공식화의 해가 비유일함을 드러내어, 이전 LatLRR 결과의 신뢰성에 의문을 제기하기 위해.
• 해의 등가성 문제(대체 유효성)와 정확한 복원 문제(진짜 값 복원) 사이의 구분을 명확히 하여, 후자가 성립하더라도 전자가 보장되지 않는다는 것을 보여주기 위해.

제안 방법

• 단순한 랭크 최소화 문제의 대표적인 예로 소음이 없는 잠재적 낮은 질서 표현(LatLRR) 모델을 분석한다.
• 다양한 서로 다른 최소화자를 가진 타당해 집합을 구성하여 LatLRR의 핵노름 최소화 공식화의 해가 비유일함을 증명한다.
• 행렬 분해와 특이값 분석을 통해 LatLRR의 핵노름 최소화 문제가 유일한 해를 강제하지 않는다는 것을 보여준다.
• 행렬 슈어 여부, 양의 준정부호성, 흔적 부등식 등의 이론적 도구를 적용하여 최적성의 필요 조건을 유도한다.
• 핵노름 해가 제약 조건을 만족하더라도, 비유일성으로 인해 진정한 랭크 최소 해와 일치하지 않을 수 있음을 보여준다.
• 기존 LRR와 LatLRR의 해 집합을 비교하여, LatLRR의 해 집합은 LRR의 해 집합을 엄격히 포함함을 보여주며, 이는 기본적인 구조적 차이를 시사한다.

실험 결과

연구 질문

• RQ1 낮은 질서 행렬 복원 문제에서 핵노름이 항상 랭크 함수의 유효한 볼록 대체함수인가?
• RQ2 소음이 없고 단순한 설정에서도 핵노름 최소화가 랭크를 동시에 최소화하는 해를 도출하지 못하는 반례를 구성할 수 있는가?
• RQ3 LatLRR의 핵노름 최소화 공식화의 해는 일반적으로 문헌에서 가정하는 바와 같이 여전히 유일한가?
• RQ4 랭크 최소화와 핵노름 최소화의 관점에서, 기존 LRR와 LatLRR의 해 집합 간의 관계는 무엇인가?
• RQ5 LatLRR에서 해의 비유일성이, 유일한 해가 선택된다는 데 기반한 이전의 경험적 결과를 무효화할 수 있는가?

주요 결과

• 논문은 핵노름 최소화가 단순한 소음이 없는 LatLRR 모델에서도 항상 랭크를 최소화하는 해를 도출하지 못함을 보여주는 반례를 구성한다.
• LatLRR의 핵노름 최소화 공식화의 해는 비유일함을 드러내어, 해가 유일하다는 가정을 내세운 문헌의 결과의 타당성을 훼손한다.
• 저자들은 특정 조건 하에서 LatLRR의 핵노름 최소화 문제에 동일한 목적값을 가진 여러 타당해가 존재함을 증명하여, 유일성 조건을 위반함을 보였다.
• 비유일성은 최적화 문제의 구조에서 기인하며, 데이터 행렬의 행공간에 대한 다수의 사영이 동일한 핵노름 값을 낳을 수 있기 때문이다.
• 랭크 최소화 및 핵노름 최소화의 관점에서 LatLRR의 해 집합은 LRR의 해 집합을 엄격히 포함하며, 이는 LatLRR가 LRR의 적절한 확장임을 시사한다.
• 결과적으로 핵노름이 랭크의 대체함수로 유효하다는 것은 단순하고 소음이 없는 문제에서도 보장되지 않으며, 사례별로 반드시 검증되어야 한다.