[논문 리뷰] Penalized pairwise pseudo likelihood for variable selection with nonignorable missing data

Jiwei Zhao, Yang Yang외 1명|arXiv (Cornell University)|2017. 03. 19.

Statistical Methods and Inference참고 문헌 42인용 수 6

한 줄 요약

이 논문은 비잔영 데이터가 있는 고차원 일반선형모형에서 변수 선택을 위한 처벌(pairwise) 가짜우도 방법을 제안한다. 비잔영 데이터의 비모수적이고 민감한 결측 데이터 메커니즘을 활용하고, 추정 가능한 분산 스케일링된 매개변수에 초점을 맞추어, 전체 매개변수 식별이 불가능한 상황에서도 변수 선택 일관성을 달성하며, 모형 오류 및 비잔영 결측에 대해 강건하다.

ABSTRACT

The regularization approach for variable selection was well developed for a completely observed data set in the past two decades. In the presence of missing values, this approach needs to be tailored to different missing data mechanisms. In this paper, we focus on a flexible and generally applicable missing data mechanism, which contains both ignorable and nonignorable missing data mechanism assumptions. We show how the regularization approach for variable selection can be adapted to the situation under this missing data mechanism. The computational and theoretical properties for variable selection consistency are established. The proposed method is further illustrated by comprehensive simulation studies and real data analyses, for both low and high dimensional settings.

연구 동기 및 목표

• 결측 데이터가 비잔영(MNAR)인 고차원 일반선형모형에서 변수 선택의 과제를 해결한다. 이는 기존의 우도 방법이 실패하는 상황이다.
• 모수적 결측 데이터 메커니즘 가정의 한계를 극복한다. 이러한 가정은 오분석에 민감하며 일반적으로 MNAR 설정에서는 적용 불가능하다.
• 비모수적이고 명시되지 않은 결측 데이터 메커니즘을 포함하여, 이는 무작위 및 비잔영 경우를 모두 수용하는 유연한 메커니즘을 제공한다.
• 결측 데이터로 인해 전체 매개변수 추정이 식별 불가능한 상황에서도 변수 선택의 이론적 및 계산적 일관성을 확립한다.
• 강력하고 계산적으로 실현 가능한 접근법을 제공하며, 강력한 모수적 가정을 피하면서도 고차원 설정에서 선택 일관성을 유지한다.

제안 방법

• 비모수적이고 민감한 결측 데이터 메커니즘 하에서 결측 데이터를 다루기 위해 조건부 우도 원리를 기반으로 한 쌍별 가짜우도 함수를 설정한다.
• 원래의 회귀 매개변수의 분산 스케일링된 형태를 추정하는 데에 초점을 맞추며, 이는 전체 식별이 실패하더라도 여전히 추정 가능한 형태이다.
• 정규화(LASSO, SCAD, 또는 MCP)를 가짜우도에 적용하여 변수 선택을 수행하며, 진짜 매개변수 벡터의 희박성에 초점을 맞춘다.
• 반복 알고리즘(예: 좌표강하 또는 최대화-최소화)을 사용하여 처벌된 가짜우도를 최적화하여 희박한 해로 수렴하도록 보장한다.
• 정규 조건 하에 추정된 계수 벡터의 지지 집합이 진짜 지지 집합과 높은 확률로 일치함을 증명함으로써 이론적 일관성을 확립한다.
• 집중 불등식과 제약된 고유값 조건을 활용하여 수렴 속도와 선택 일관성을 도출하며, 비볼록 페널티 조건 하에서도 성립한다.

실험 결과

연구 질문

• RQ1 결측 데이터가 비잔영(MNAR)이고 결측 메커니즘이 명시되지 않은 고차원 일반선형모형에서 변수 선택을 일관적으로 수행할 수 있는가?
• RQ2 비잔영 결측성 하에서 모수적 결측 모형을 가정하지 않고도 유효하고 추정 가능한 가짜우도 접근법을 어떻게 구성할 수 있는가?
• RQ3 부분적인 비식별성에도 불구하고 처벌된 쌍별 가짜우도 방법이 선택 일관성을 달성하기 위한 이론적 조건은 무엇인가?
• RQ4 기존의 우도 기반 또는 EM 기반 접근법과 비교하여 이 방법은 어떤 MNAR 메커니즘 하에서 성능가능성이 높은가?
• RQ5 진짜 매개변수 벡터가 희박하고 예측 변수의 수가 표본 크기와 함께 증가할 때, 이 방법은 여전히 선택 일관성을 유지할 수 있는가?

주요 결과

• 제안된 처벌(pairwise) 가짜우도 방법은 비잔영 케이스를 포함하는 민감하고 명시되지 않은 결측 데이터 메커니즘 하에서도 변수 선택 일관성을 달성한다.
• 전체 매개변수 식별이 불가능한 상황에서도 추정된 모델 지지 집합이 진짜 모델 지지 집합과 높은 확률로 일치함을 보장한다.
• 이론적 분석을 통해 정규 조건 하에 추정기(estimator)가 오라클 추정기로 수렴함을 입증하였으며, 이는 $ s^* \sqrt{\log p / n} = o_p(1) $ 조건을 포함한다. 이는 일관성을 보장한다.
• 매개변수 추정기의 수렴 속도는 $ \| \widehat{\bm{\gamma}}^{(l)} - \bm{\gamma}^* \|_2 \leq c_{14} \rho_*^{-1} \sqrt{s^*} \lambda $ 로 유계되어 있으며, 이는 진짜 매개변수로의 수렴 속도를 지지한다.
• 비모수적 결측 데이터 메커니즘 가정으로 인해 모형 오분석에 강건하며, 잘못된 모수적 모형화로 인한 편향을 피한다.
• 시뮬레이션 및 실데이터 분석 결과는 이 방법이 비잔영 결측성 하에서도 관련 변수를 정확히 식별할 수 있음을 확인하며, MNAR 상황에서 MAR 기반 방법보다 뛰어난 성능을 보였다.