[논문 리뷰] Average-case Hardness of RIP Certification

Tengyao Wang, Quentin Berthet외 1명|arXiv (Cornell University)|2016. 05. 31.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 6

한 줄 요약

이 논문은 약화된 밀도 높은 부분그래프 탐지 가정 하에, 랜덤 설계 행렬에 대한 제한 이sovolece 성질(RIP)을 검증하는 것이 평균 케이스에서도 계산적으로 어렵다는 것을 입증한다. 관측 수 $ n $ 이 $ k^{1+\theta}/\theta^2 $ 이하일 경우, 어떤 $ \theta < 1 $ 이라도 효율적인 평균 케이스 검증기가 존재하지 않음을 보여주며, 이는 랜덤 행렬에 대해 이론적으로 가능한 것과 실질적으로 효율적으로 검증 가능한 것 사이에 상당한 격차가 있음을 시사한다.

ABSTRACT

The restricted isometry property (RIP) for design matrices gives guarantees for optimal recovery in sparse linear models. It is of high interest in compressed sensing and statistical learning. This property is particularly important for computationally efficient recovery methods. As a consequence, even though it is in general NP-hard to check that RIP holds, there have been substantial efforts to find tractable proxies for it. These would allow the construction of RIP matrices and the polynomial-time verification of RIP given an arbitrary matrix. We consider the framework of average-case certifiers, that never wrongly declare that a matrix is RIP, while being often correct for random instances. While there are such functions which are tractable in a suboptimal parameter regime, we show that this is a computationally hard task in any better regime. Our results are based on a new, weaker assumption on the problem of detecting dense subgraphs.

연구 동기 및 목표

• 랜덤 설계 행렬에 대해 평균 케이스 설정에서 제한 이sovolece 성질(RIP)을 효율적으로 검증할 수 있는지 조사하는 것.
• 특히 정보 이론적 한계 $ n \sim k\log p / \theta^2 $ 근처의 영역에서, 실현 가능한 RIP 검증의 계산적 한계를 규명하는 것.
• 랜덤 행렬에 대한 이론적 보장과 실질적으로 계산 효율적인 검증 방법 사이의 격차를 메우는 것.
• 약한 밀도 높은 부분그래프 탐지 가정 하에, $ n \ll k^{1+\alpha}/\theta^2 $ 이면 평균 케이스의 RIP 검증이 어렵다는 것을 입증하는 것.
• 기존의 실현 가능한 대체 척도(예: 비정현성)의 한계를 명확히 하며, $ p \geq 2n $ 일 때 복구 보장을 하지 못하는 이유를 밝히는 것.

제안 방법

• 모든 경우에서 잘못된 결과를 내지 않지만, 많은 랜덤 인스턴스에 대해 정확한 결과를 내는 함수인 평균 케이스 검증기의 프레임워크를 도입한다.
• Planted Clique 가설에 영감을 얻어, 밀도 높은 부분그래프 탐지와 관련된 더 약한 가정으로 RIP 검증 문제를 축소한다.
• 이차 형식과 랜덤 행렬 원소의 편차 행동 분석을 위해 농도 부등식과 서브가우시안 尾 확률 경계를 사용한다.
• McDiarmid의 부등식을 적용하여 무작위로 선택된 행렬에서 비영 행의 수의 편차를 제한하며, 행의 점유를 초기하적 유사 과정으로 모델링한다.
• 행렬 노름 분석에서 尾 확률를 제어하기 위해 서브지수 및 서브가우시안 변수의 모멘트 생성 함수 경계를 활용한다.
• 밀도 높은 부분그래프 탐지에서 RIP 검증으로의 감소를 구성하며, 만약 밀도 높은 부분그래프를 효율적으로 탐지할 수 있다면 RIP 검증도 마찬가지로 효율적으로 가능하다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 랜덤 설계 행렬에 대해 평균 케이스 설정에서 제한 이sovolece 성질(RIP)을 효율적으로 검증할 수 있는가?
• RQ2 대부분의 랜덤 행렬에 대해 RIP를 정확히 식별하면서도 잘못된 검증을 절대 하지 않는 계산 효율적인 함수가 존재하는가?
• RQ3 어떤 계산적 임계값 이하에서는 조건부 복잡도 가정이 타당하더라도 평균 케이스의 RIP 검증이 불가능한가?
• RQ4 표본 수 $ n $ 가 희박성 수준 $ k $ 와 등척성 상수 $ \theta $ 와 어떻게 관련되어 있어 효율적 검증의 가능성을 결정하는가?
• RQ5 기존의 실현 가능한 대체 척도(예: 비정현성)는 $ p \geq 2n $ 일 때 얼마나 진정한 RIP 행동을 포착하지 못하는가?

주요 결과

• 약한 밀도 높은 부분그래프 탐지 가정 하에, 어떤 $ \alpha < 1 $ 에 대해 $ n \ll k^{1+\alpha}/\theta^2 $ 이면, RIP에 대한 계산 효율적인 평균 케이스 검증기가 존재하지 않는다.
• 이 난이도 결과는, 효율적 검증을 위해서는 실제로는 $ k^2 \log p / \theta^2 $ 개의 관측치가 필요하며, 이는 랜덤 행렬이 $ n \sim k \log p / \theta^2 $ 에서도 높은 확률로 RIP를 만족하기는 하지만 말이다.
• 이로써 정보 이론적 한계와 계산적으로 실현 가능한 검증 한계 사이에 큰 격차가 있음을 입증한다.
• 제시된 가정 하에, 최적의 RIP 행렬을 검증을 통해 구성하는 효율적인 라스베가스 알고리즘의 존재를 배제한다.
• 기존의 실현 가능한 대체 척도(예: 비정현성)는 $ p \geq 2n $ 일 때 복구 보장을 하지 못하며, 이는 $ n \sim k^2 $ 가 필요하기 때문이며, 이는 최적화된 해보다 열등하다.
• 이 논문은, 합리적인 복잡도 이론적 가정 하에, near-optimal 영역에서 심지어 평균 케이스 설정에서도 RIP 검증이 본질적으로 어렵다는 강력한 증거를 제공한다.