[논문 리뷰] Optimal Estimation and Completion of Matrices with Biclustering Structures

Chao Gao, Yu Lu외 2명|arXiv (Cornell University)|2015. 12. 01.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 30

한 줄 요약

이 논문은 노이즈가 섞이고 일부 관측된 데이터로부터 이클러스터링 구조를 가진 행렬을 복원하기 위한 제약 조건이 부여된 최소 제곱 추정기(least squares estimator)를 제안한다. 이는 가우시안 및 이진 데이터 모두에 대해 최소 최대 성능율 최적성을 확립하며, 스토하스틱 블록 모델에서의 행렬 완성 및 희박한 그래폰 추정에 응용된다.

ABSTRACT

Biclustering structures in data matrices were first formalized in a seminal paper by John Hartigan (1972) where one seeks to cluster cases and variables simultaneously. Such structures are also prevalent in block modeling of networks. In this paper, we develop a unified theory for the estimation and completion of matrices with biclustering structures, where the data is a partially observed and noise contaminated data matrix with a certain biclustering structure. In particular, we show that a constrained least squares estimator achieves minimax rate-optimal performance in several of the most important scenarios. To this end, we derive unified high probability upper bounds for all sub-Gaussian data and also provide matching minimax lower bounds in both Gaussian and binary cases. Due to the close connection of graphon to stochastic block models, an immediate consequence of our general results is a minimax rate-optimal estimator for sparse graphons.

연구 동기 및 목표

• 노이즈와 결측 데이터가 존재하는 상황에서 이클러스터링 구조를 가진 행렬의 추정 및 완성에 대한 통합 이론을 개발하는 것.
• 기본적으로 저차원 행렬 완성 기법의 한계를 해결하기 위해, 더 정보가 풍부하고 더 좋은 추정률을 제공하는 이클러스터링 구조가 존재할 경우의 문제를 다루는 것.
• 연속형(가우시안) 및 이산형(이진) 데이터 모델 모두에 대해 최소 최대 성능율 최적성을 확립하는 것.
• 특히 스토하스틱 블록 모델(SBMs)에 대한 네트워크 데이터로 결과를 확장하고, 희박한 그래폰에 대해 성능 최적의 추정기를 도출하는 것.
• 추정 오차에 대한 고확률 상한과 일치하는 최소 최대 하한을 통해 최적성의 확인을 위한 것.

제안 방법

• 행렬의 행 및 열 클러스터 내에서 값이 일정하다는 가정을 통해 이클러스터링 구조를 강제하는 제약 조건이 부여된 최소 제곱 추정기를 제안한다.
• 서브가우시안 노이즈와 결측 데이터 하에서 추정기의 평균 제곱 오차(MSE)에 대한 고확률 상한을 유도한다.
• 베르누이 타입 부등식과 농도 경계를 사용하여 추정기의 진짜 신호 행렬에서의 이탈을 제어한다.
• 결측 항목이 존재하는 상황에서의 추정 오차를 다루기 위해 대칭화 및 경험 과정 기법을 적용한다.
• 가우시안 및 이진 설정 모두에서 테스트 기반의 접근을 통해 최소 최대 하한을 확립하여 최적성을 확인한다.
• 대칭 행렬이며 대각선 요소가 0인 경우(비방향 네트워크 모델링에서 요구됨)에도 결과를 확장하고, 조밀하고 희박한 상황에서의 그래폰 추정과 연결한다.

실험 결과

연구 질문

• RQ1 결측 데이터와 노이즈 하에서 이클러스터링 구조를 가진 행렬 추정에 대해 제약 조건이 부여된 최소 제곱 추정기가 최소 최대 최적 성능율을 달성할 수 있는가?
• RQ2 표준 저차원 행렬 완성 기법과 비교했을 때, 이클러스터링 인식 추정의 추정 오차 비율은 어떻게 되는가?
• RQ3 가우시안 및 이진 관측 모델 모두에서 이클러스터링-구조를 가진 행렬을 추정할 때의 최소 최대 하한은 무엇인가?
• RQ4 제안된 방법은 스토하스틱 블록 모델(SBMs)과 같은 네트워크 데이터에 적용되어 기저 확률 행렬의 최적 복원을 달성할 수 있는가?
• RQ5 희박한 그래폰을 추정할 때의 최소 최대 성능율은 무엇이며, 제안된 프레임워크는 이를 달성할 수 있는가?

주요 결과

• 제약 조건이 부여된 최소 제곱 추정기는 서브가우시안 노이즈 하에서 가우시안 및 이진 데이터 모델 모두에서 최소 최대 성능율 최적성을 달성한다.
• 추정 오차에 대한 상한은 엄밀하며 유도된 최소 최대 하한과 일치하여 제안된 추정기의 최적성을 확인한다.
• 스토하스틱 블록 모델에서, 이는 조밀하고 희박한 상황 모두에서 기저 확률 행렬에 대해 성능 최적의 추정기를 제공한다.
• 이 프레임워크는 희박한 그래폰에 대해 최소 최대 성능율 최적의 추정기를 도출하며, 문헌에서 알려진 최소 최대 비율과 일치한다.
• 일반적인 서브가우시안 노이즈와 결측 데이터 메커니즘 하에서 추정기의 고확률 농도 경계가 확립된다.
• 비방향 네트워크 모델링에서 요구되는 대칭 행렬이며 대각선 요소가 0인 경우에도 이 방법은 효과적으로 유지된다.