[논문 리뷰] Robust Matrix Estimation with Side Information

Anish Agarwal, Jungjun Choi외 1명|arXiv (Cornell University)|2026. 03. 25.

Advanced Causal Inference Techniques인용 수 0

한 줄 요약

행과 열 양측의 부가 정보를 활용하여 대상 행렬을 네 구성요소로 분해하는 유연한 sieve 기반 프레임워크를 제시하고, 핵 노름 페널티를 적용하며 MAR 및 MNAR 누락 데이터 시나리오로의 확장을 제시한다.

ABSTRACT

We introduce a flexible framework for high-dimensional matrix estimation to incorporate side information for both rows and columns. Existing approaches, such as inductive matrix completion, often impose restrictive structure-for example, an exact low-rank covariate interaction term, linear covariate effects, and limited ability to exploit components explained only by one side (row or column) or by neither-and frequently omit an explicit noise component. To address these limitations, we propose to decompose the underlying matrix as the sum of four complementary components: (possibly nonlinear) interaction between row and column characteristics; row characteristic-driven component, column characteristic-driven component, and residual low-rank structure unexplained by observed characteristics. By combining sieve-based projection with nuclear-norm penalization, each component can be estimated separately and these estimated components can then be aggregated to yield a final estimate. We derive convergence rates that highlight robustness across a range of model configurations depending on the informativeness of the side information. We further extend the method to partially observed matrices under both missing-at-random and missing-not-at-random mechanisms, including block-missing patterns motivated by causal panel data. Simulations and a real-data application to tobacco sales show that leveraging side information improves imputation accuracy and can enhance treatment-effect estimation relative to standard low-rank and spectral-based alternatives.

연구 동기 및 목표

• 행과 열 양쪽의 부가 정보를 통합하여 강건한 고차원 매트릭스 추정을 촉진한다.
• 상호작용 및 한쪽에 의해 설명되거나 어느 쪽도 설명되지 않는 구성요소를 포착하는 일반적인 네 구성요소 분해를 제안한다.
• 각 구성요소를 개별적으로 추정하고 집계하기 위해 핵 노름 페널티와 합성된 sieve 프로젝션 방법을 개발한다.
• MAR 및 MNAR 메커니즘 하에서 부분적으로 관찰된 행렬에 프레임워크를 확장하고, 인과 패널에 기반한 패턴을 포함한다.
• 모델 구성에 따라 강건성을 보이는 수렴 속도를 확립하고 시뮬레이션 및 실제 데이터로 이점을 입증한다.

제안 방법

• M를 4부분으로 분해한다: M1은 X와 Z에 의해 설명되는 상호작용, M2는 X-주도, M3은 Z-주도, M4는 X나 Z로 설명되지 않는 부분.
• 각 구성요소를 X와 Z의 미지의 비선형 함수와 관찰되지 않은 로딩 행렬의 행렬곱으로 표현한다.
• 사이프 기저를 사용해 PX와 PZ 투사 행렬을 형성하고, 비선형 효과와 직교 성질이 잡음 영향을 감소시키도록 한다.
• PX Y PZ로 M1을 추정하고, PX 또는 PZ 효과를 제거한 잔차에 핵 노름 페널티를 적용한 투사를 통해 M2, M3, M4를 추정한다.
• 네 추정치를 합산하여 최종 M hat을 형성한다: Mhat = M1hat + M2hat + M3hat + M4hat.
• MAR 기반 투사와 남은 부분에 대한 핵 노름 페널티를 추가로 적용하여 누락 데이터를 확장하고, MAR 수렴 결과를 도출하며, MNAR은 블록 패턴과 회전 기반 재구성을 통해 확장한다.

Figure 1: Missing pattern in MNAR case

실험 결과

연구 질문

• RQ1 행과 열의 부가 정보를 비선형 상호작용을 수용하는 강건한 매트릭스 추정 프레임워크에 통합할 수 있는가?
• RQ2 상호작용, 행 주도, 열 주도 및 잔차 구성요소로 신호를 분해하는 것이 부가 정보의 정보성이 다양한 상황에서 추정을 향상시키는가?
• RQ3 명시적 랭크 추정 없이 각 구성요소를 추정하기 위해 sieve projection과 핵 노름 페널티를 어떻게 결합할 수 있는가?
• RQ4 전부 관찰된 상황, MAR 및 MNAR 설정 하에서 제안된 추정기의 수렴 특성은 어떤가?
• RQ5 인과 패널 맥락에서 사이드 정보를 포함하는 것이 보간(imputation) 및 처리효과 추정에 개선을 가져오는가?

주요 결과

• 제안된 네 구성요소 모델은 많은 기존 모델을 일반화하며 일부 구성요소가 약하거나 0일 때도 강건함을 유지한다.
• 핵 노름 페널티를 갖는 sieve 기반 투사는 각 구성요소를 개별적으로 추정하고 강건한 최종 집계를 가능하게 한다.
• 이 방법은 부가 정보의 정보성에 맞춰 수렴 속도를 조정하고, 부가 정보가 비정보적일 때에도 표준 저랭크 방법과 경쟁력을 유지한다.
• MAR 및 MNAR 누락 데이터로 확장되며, MAR 추정은 투사와 남은 부분에 대한 핵 노름 페널티를 사용하고 MNAR은 이분 구간과 회전 보정을 통해 처리한다.
• 실 데이터와 시뮬레이션에서 사이드 정보를 활용하면 보간 정확도가 향상되고 스펙트럴/저랭크 대안에 비해 처리효과 추정이 향상될 수 있음을 보여준다.

Figure 2: AMSE under different values of $\alpha_{r}$