[논문 리뷰] On matrix estimation under monotonicity constraints

Sabyasachi Chatterjee, Adityanand Guntuboyina외 1명|arXiv (Cornell University)|2015. 06. 10.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 14

한 줄 요약

이 논문은 행과 열이 모두 비감소하는 조건 하에서 행렬 추정에 대한 최소제곱추정량(LSE)을 연구한다. LSE가 최악의 상황에서 $ n^{-1/2} $의 위험도를 가지며(로그 인자들을 제외한), 이는 최소최대 최적임을 입증하며, 행렬의 정수형 블록 수가 유한한 경우 파rametric $ n^{-1} $ 수렴 속도를 달성함으로써 변수 적응성을 보여준다.

ABSTRACT

We consider the problem of estimating an unknown $n_1 imes n_2$ matrix $\mathbf{θ^*}$ from noisy observations under the constraint that $\mathbfθ^*$ is nondecreasing in both rows and columns. We consider the least squares estimator (LSE) in this setting and study its risk properties. We show that the worst case risk of the LSE is $n^{-1/2}$, up to multiplicative logarithmic factors, where $n = n_1 n_2$ and that the LSE is minimax rate optimal (up to logarithmic factors). We further prove that for some special $\mathbfθ^*$, the risk of the LSE could be much smaller than $n^{-1/2}$; in fact, it could even be parametric i.e., $n^{-1}$ up to logarithmic factors. Such parametric rates occur when the number of "rectangular" blocks of $\mathbfθ^*$ is bounded from above by a constant. We derive, as a consequence, an interesting adaptation property of the LSE which we term variable adaptation -- the LSE performs as well as the oracle estimator when estimating a matrix that is constant along each row/column. Our proofs borrow ideas from empirical process theory and convex geometry and are of independent interest.

연구 동기 및 목표

• 행과 열이 모두 단조 증가하는 조건 하에서 $ n_1 \times n_2 $ 행렬을 추정하는 최소제곱추정량(LSE)의 위험도 성질을 연구하는 것.
• LSE의 최악의 상황에서의 위험도를 확립하고, 이가 로그 인자들을 제외한 최소최대 속도 최적임을 증명하는 것.
• 진짜 행렬의 내재 차원이 낮을 경우, 예를 들어 유한한 수의 직사각형 블록을 가질 경우 LSE의 적응 행동을 조사하는 것.
• LSE가 문제의 '내재 차원'에 적응하여 특정 구조적 설정에서 오라클 추정량과 동일한 성능을 내는지 보여주는 것.

제안 방법

• LSE의 위험도 행동을 분석하기 위해 경험과정 이론, 근사 이론 및 볼록 기하학 도구를 활용한다.
• 적절히 구성된 이소톤 행렬 집합(이진 벡터로 색인화됨)을 사용하여 일반화된 파노의 부등식을 통해 최소최대 하한을 도출한다.
• 행렬을 $ k \times k $ 블록으로 분할하고, $ \pm 1 $ 값을 갖는 매개변수를 사용하여 조절된 변동성을 갖는 이소톤 행렬을 정의한다.
• 다양한 이소톤 행렬에 대응하는 가우시안 측도 간의 총변동 거리에 대해 핀스커의 부등식을 사용하여 바운드한다.
• 메트릭 엔트로피와 탄젠트 콘의 추론을 통해 위험도를 분석하여 LSE의 적응성과 수렴 속도를 특성화한다.
• 이sov톤 제약 집합 $ \mathcal{M} $ 의 구조를 활용하여, 구성된 행렬들이 항상 단조성을 유지하도록 보장한다.

실험 결과

연구 질문

• RQ1 단조 행렬 추정에 대한 LSE의 최악의 상황에서의 위험도는 무엇이며, 이는 최소최대 최적인가?
• RQ2 일부 구조적 행렬에 대해 LSE가 $ n^{-1/2} $ 보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ3 LSE는 진짜 행렬의 내재 복잡도(예: 일정한 수의 정수형 직사각형 블록)에 적응하는가?
• RQ4 LSE의 성능은 사전에 블록 구조를 알고 있는 오라클 추정량과 비교해 어떻게 되는가?
• RQ5 진짜 행렬의 블록 수가 추정 위험도를 결정하는 데 어떤 역할을 하는가?

주요 결과

• LSE의 최악의 상황에서의 위험도는 어떤 전연 상수 $ C $ 에 대해 $ C n^{-1/2} \log n $ 이하로 바운드되며, 이 속도는 로그 인자들을 제외한 최소최대 최적이다.
• 유한한 수의 직사각형 블록을 갖는 행렬(즉, 일정한 블록 구조)에 대해서는 LSE가 $ C n^{-1} \log n $ 의 파arametric 속도를 달성하며, 이는 $ n^{-1/2} $ 보다 훨씬 빠르다.
• LSE는 변수 적응성을 보인다: 문제의 내재 차원에 자동으로 적응하여, 블록 구조를 사전에 알고 있는 오라클 추정량과 동일한 성능을 낸다.
• 최악의 상황에서의 최소최대 하한은 $ \sigma \sqrt{D}/n^{1/2} $ 의 순서를 가지며, 이는 상한과 로그 인자들을 제외한 순서로 일치하여 최소최대 최적성을 확인한다.
• 위험도 바운드는 총변동 $ D(\boldsymbol{\theta}^*) = (\theta^*_{n_1n_2} - \theta^*_{11})^2 $ 에 의존하며, $ D $ 가 작을수록 속도가 향상된다.
• 하한의 구성은 $ 2^{k^2} $ 개의 이소톤 행렬로 이루어지며, 이들은 제어된 $ \ell^2 $ 분리도와 총변동 거리를 갖는다. 이는 정밀한 최소최대 속도를 이끈다.