[논문 리뷰] Open problem: Tightness of maximum likelihood semidefinite relaxations

Afonso S. Bandeira, Yuehaw Khoo외 1명|arXiv (Cornell University)|2014. 04. 10.

Sparse and Compressive Sensing Techniques참고 문헌 5인용 수 12

한 줄 요약

이 논문은 노이즈가 있는 복원 문제에서 최대우도推定기(MLE)의 준선형계획형(SDP) 근사가 정확한 MLE 복원이 불가능한 상황에서도 종종 올바른 낮은 질량을 회복한다는 놀라운 경험적 관찰을 조사한다. 주요 기여는 이러한 SDP 근사가 정확한 복원이 불가능한 비정확한 복원 영역에서도 이론적 근거 없이도 임계 노이즈 이하에서는 여전히 타이트하다(즉, 올바른 질량을 회복한다)는 개방된 추측이다.

ABSTRACT

We have observed an interesting, yet unexplained, phenomenon: Semidefinite programming (SDP) based relaxations of maximum likelihood estimators (MLE) tend to be tight in recovery problems with noisy data, even when MLE cannot exactly recover the ground truth. Several results establish tightness of SDP based relaxations in the regime where exact recovery from MLE is possible. However, to the best of our knowledge, their tightness is not understood beyond this regime. As an illustrative example, we focus on the generalized Procrustes problem.

연구 동기 및 목표

• 노이즈가 있는 복원 문제에서 정확한 MLE 복원이 불가능한 상황에서도 준선형계획형(SDP) 근사가 자주 올바른 낮은 질량 해를 회복하는 이유를 이해하는 것.
• 비볼록 MLE 문제의 SDP 근사가 타이트하게 유지되는 이론적 조건, 즉 올바른 질량을 가진 해를 생성하는 조건을 규명하는 것.
• 정확한 복원이 불가능한 고노이즈 영역에서 SDP 근사의 질량 회복 현상에 대한 개방 문제를 체계화하고 동기를 부여하는 것.
• 일반화된 Procrustes와 다중기준 정렬과 같은 두 가지 표준 문제에 대해 수치적 증거와 추측을 제공함으로써 이 현상이 일관되게 관찰됨을 보여주는 것.

제안 방법

• 변환된 측정치 간 제곱차이의 합을 최소화하기 위해 정규직교 행렬 위에서 비볼록 최적화 문제로 일반화된 Procrustes 문제를 설정한다.
• 정규직교 행렬을 양의 준정부호 행렬 변수로 올리고 비볼록 질량 제약 조건을 완화함으로써 등가의 준선형계획형(SDP) 문제를 유도한다.
• 원래의 비볼록 문제 (2)의 볼록 대체물로 SDP 근사 (3)을 사용하며, 해가 질량 d를 가질 경우 동일한 최적값을 유지한다.
• d=1 경우의 타이트성을 증명하기 위해 이중 증명을 구성하지만, 노이즈 하에서 MLE의 알려진 형태가 없기 때문에 이러한 추론이 고차원에서는 실패함을 지적한다.
• d > 1 인 경우, 정확한 MLE 복원이 불가능한 상황에서도 임계 노이즈 수준 σ* 이하에서는 높은 확률로 SDP 근사 (3)이 질량 d를 회복할 것이라는 추측을 제안한다.
• 다중기준 정렬 문제로 추측을 확장하며, 이 경우 SDP는 다른 구조를 가지지만 중간 노이즈 수준에서 유사한 질량 회복 행동을 보임을 확인한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 복원 문제에서 MLE의 준선형계획형(SDP) 근사가 정확한 MLE 복원이 불가능한 상황에서도 자주 올바른 낮은 질량 해를 제공하는 이유는 무엇인가?
• RQ2 노이즈 수준 σ < σ* 인 경우, 일반화된 Procrustes 문제의 SDP 근사가 높은 확률로 올바른 질량 d를 회복할 수 있는 이론적 임계 노이즈 수준 σ* 가 존재하는가?
• RQ3 정확한 복원 영역을 초월해 비볼록 제약 조건과 연속적 매개변수 공간을 가진 문제에서 SDP 근사의 질량 회복 현상은 엄밀하게 설명될 수 있는가?
• RQ4 일반화된 Procrustes와는 다를 수 있는 SDP 구조와 이산적/연속적 매개변수 공간을 가진 문제들, 예를 들어 다중기준 정렬 문제에서도 동일한 질량 회복 행동이 유지되는가?
• RQ5 기존의 무작위 SDP 해의 질량 분석을 위한 이론적 도구들이 이러한 특정 복원 문제에서 관측된 질량 회복 현상을 설명하지 못하는 이유는 무엇인가?

주요 결과

• d > 1 인 일반화된 Procrustes 문제에서, 수치 실험 결과 SDP 근사 (3)이 특정 노이즈 수준 σ* 이하에서는 정확한 MLE 복원이 불가능한 ℓ₂ 노이즈 하에서도 높은 확률로 질량 d를 회복함을 보였다.
• d = 1 인 경우, 이중 증명을 통한 타이트성은 이론적으로 증명되었지만, 노이즈 하에서 MLE의 알려진 닫힌 형태가 없기 때문에 이 방법은 d > 1 로 일반화되지 않는다.
• 질량 회복 현상은 일반화된 Procrustes 문제 외에도 글로벌 정렬, 카메라 운동 추정, 다중기준 정렬과 같은 관련 문제들에서도 관찰된다.
• 이론적 설명이 부재한 상황에서도 수치적 증거(그림 1)는 일반화된 Procrustes 및 다중기준 정렬 문제에서 임계 노이즈 임계점 이하에서는 높은 확률로 질량 회복이 일어남을 지지하는 추측을 뒷받침한다.
• 다중기준 정렬 문제의 SDP 근사는 Ω(n²d²)개의 양성 제약 조건을 가지며 Procrustes SDP와는 구조적으로 다를 뿐만 아니라 유사한 질량 회복 행동을 보이며, 이는 더 넓은 기반 메커니즘이 존재할 가능성을 시사한다.
• 정확한 복원이 노이즈가 사라지는 극한에서만 점근적으로 가능할 때조차도 질량 회복 현상이 관찰되며, 이는 상수이고 변하지 않는 노이즈 수준에서도 SDP 근사가 정확한 해의 구조를 잘 포착하고 있음을 의미한다.