[논문 리뷰] Note on sampling without replacing from a finite collection of matrices

David Groß, Vincent Nesme|arXiv (Cornell University)|2010. 01. 15.

Mathematical Analysis and Transform Methods참고 문헌 13인용 수 64

한 줄 요약

이 논문은 이전에 유한한 헤르미트 행렬 집합에서 추출할 때의 샘플링 방식에 따라, 기존에 복원 추출에 대해 유도된 랜덤 행렬의 합에 대한 연산자 초퍼 타입의 경계가 복원 없이 추출할 때에도 성립한다는 것을 입증한다. 헤프딩의 고전적 증명을 통해 저자들은 복원 없이 추출할 때의 합의 모멘트 생성 함수가 복원 추출의 것보다 확률적으로 지배됨을 보이며, 이는 저랭크 행렬 복원 알고리즘에 필수적인 농도 부등식을 유지한다.

ABSTRACT

This technical note supplies an affirmative answer to a question raised in a recent pre-print [arXiv:0910.1879] in the context of a "matrix recovery" problem. Assume one samples m Hermitian matrices X_1, ..., X_m with replacement from a finite collection. The deviation of the sum X_1+...+X_m from its expected value in terms of the operator norm can be estimated by an "operator Chernoff-bound" due to Ahlswede and Winter. The question arose whether the bounds obtained this way continue to hold if the matrices are sampled without replacement. We remark that a positive answer is implied by a classical argument by Hoeffding. Some consequences for the matrix recovery problem are sketched.

연구 동기 및 목표

• 복원 없이 추출할 경우 상호의존성이 발생하여 분석을 복잡하게 만드는 매트릭스 복원 이론의 기술적 격차를 해결하기 위해.
• 독립적(복원 추출)의 경우에 대해 기존에 유도된 농도 부등식이 복원 없이 추출할 경우에도 그대로 유효함을 보여주기 위해.
• 실제로 복원 없이 추출할 경우에 복원 추출에 대한 기존의 분석 결과를 사용할 수 있음을 엄밀하게 정당화하여 알고리즘 분석을 단순화하기 위해.
• 특히 양자 상태 토모그라피와 저랭크 행렬 재구성의 맥락에서 연산자 노름 농도 부등식에 의존하는 매트릭스 복원 알고리즘의 타당성을 뒷받침하기 위해.

제안 방법

• 복원 없이 추출할 경우의 확률적 지배성에 대해 헤프딩의 고전적 증거를 적용한다.
• 복원 없이 추출된 샘플에서 복원 추출 샘플을 생성하는 이중 단계 랜덤화 과정을 통해 랜덤 함수 Z를 구성한다.
• X와 Z(Y)가 동일한 분포를 가짐을 이용하여 합의 함수 기대값을 동일시한다.
• 특히 행렬 지수의 트레이스에 대한 볼록 함수에 대해 젠센의 부등식을 적용한다.
• 헤르미트 행렬에 대해 c ↦ tr(exp(λc))의 볼록성을 활용하여 스칼라 농도 결과를 행렬 설정으로 확장한다.
• 모멘트 생성 함수의 지배성 도출: M_Y(λ) ≤ M_X(λ), 이는 복원 추출에 대한 尾부 부등식이 복원 없이 추출할 경우에도 적용됨을 의미한다.

실험 결과

연구 질문

• RQ1 독립적인 랜덤 행렬의 합에 대한 연산자 초퍼 경계를 복원 없이 추출하는 경우로 확장할 수 있는가?
• RQ2 복원 추출이 복원 없이 추출하는 것보다 확률적으로 지배될 때, 매트릭스 값의 합에 대한 농도 부등식이 유지되는가?
• RQ3 실제로 복원 없이 추출할 경우에 복원 추출 경계를 사용하는 것이 분석에 타당한가?
• RQ4 복원 추출과 복원 없이 추출할 경우의 합에 대한 모멘트 생성 함수 사이의 관계는 무엇인가?
• RQ5 헤프딩의 고전적 확률 부등식을 매트릭스 값의 랜덤 변수로 일반화하여 복원 없이 추출할 경우의 농도를 유지할 수 있는가?

주요 결과

• 복원 없이 추출된 행렬의 합에 대한 모멘트 생성 함수는 복원 추출의 것보다 확률적으로 지배된다.
• 그 결과, 아흐르스베이드와 윈터가 유도한 연산자 초퍼 경계는 복원 없이 추출할 경우에도 그대로 유효하다.
• t ≤ 2V/c 인 경우 Pr[‖S‖ > t] ≤ 2n exp(−t²/(4V)) 및 t > 2V/c 인 경우 Pr[‖S‖ > t] ≤ 2n exp(−t/(2c))로 주어지는 연산자 노름 농도 경계는 두 추출 방식 모두에 대해 성립한다.
• 샘플링 연산자의 연산자 노름에 대한 경계는 복원 없이 추출하는 맥락에서도 유효하며, 최악의 경우 추정이 필요 없이 유지된다.
• 랜덤 샘플링에 기반한 매트릭스 복원 알고리즘의 분석은 실제로 복원 없이 추출하더라도 복원 추출 경계를 안전하게 사용할 수 있다.
• 이 결과는 복원 없이 추출하는 경우에도 일반성 손실 없이, 그로스(2009)의 분석 프레임워크와 같은 단순화된 분석 접근법을 사용할 수 있음을 정당화한다.