[논문 리뷰] Penalized quasi likelihood estimation for variable selection

Yoshiki Kinoshita, Nakahiro Yoshida|arXiv (Cornell University)|2019. 10. 28.

Statistical Methods and Inference참고 문헌 18인용 수 5

한 줄 요약

이 논문은 확률 미분 방정식 모델에서 변수 선택을 위한 펆드 퀼리티 likelihood 접근법을 개발하며, 모멘트 수렴과 점근적 안정성을 보장하기 위해 다항형 대규변이 부등식(PLDI)을 활용한다. 펜alty 항이 PLDI를 방해하지 않음을 입증하여 일致한 변수 선택과 추정량의 점근적 정규성을 보장하며, 시뮬레이션 결과는 표본 크기가 증가함에 따라 모형 선택 정확도가 높아짐을 확인한다.

ABSTRACT

Penalized methods are applied to quasi likelihood analysis for stochastic differential equation models. In this paper, we treat the quasi likelihood function and the associated statistical random field for which a polynomial type large deviation inequality holds. Then penalty terms do not disturb a polynomial type large deviation inequality. This property ensures the convergence of moments of the associated estimator which plays an important role to evaluate the upper bound of the probability that model selection is incorrect.

연구 동기 및 목표

• 확률 미분 방정식 모델에서 페널티 퀼리티 likelihood를 사용한 변수 선택을 위한 이론적 프레임워크를 수립하기 위해.
• 페널티 항이 퀸티 likelihood 분석에서 다항형 대규변이 부등식(PLDI)을 유지함을 입증하기 위해.
• PLDI 하에서 페널티 추정량의 모멘트 수렴을 보장하여 신뢰할 수 있는 점근적 추론을 가능하게 하기 위해.
• 고차원적 매개변수 선택을 수반한 확률적 변동성 회귀 모형에서 시뮬레이션을 통해 방법을 검증하기 위해.
• 표본 크기가 증가함에 따라 올바른 모형을 선택할 확률이 높아짐을 보여주기 위해.

제안 방법

• 음의 퀼리티 likelihood에 페널티 항을 더한 최소화자로 정의된 페널티 퀸티 likelihood 추정량을 사용하며, Lasso, Bridge, 적응형 Lasso 포함.
• 페널티 대비 함수에 다항형 대규변이 부등식(PLDI)을 적용하여 尾행동을 통제하고 모멘트 수렴을 보장한다.
• 페널티 항이 PLDI를 방해하지 않음을 입증하여 균일한 적분 가능성과 점근적 안정성을 유지함.
• 퀘일리티 likelihood 랜덤 필드에 대해 PLDI를 유도하기 위해 국소적으로 점근적으로 2차형(지속적) 조건(LAQ)을 적용한다.
• 특히 비볼록 페널티(예: SCAD)에 대해 최적화를 위해 국소 2차 근사(LQA)를 사용한다.
• 유사한 조건 하에서 추정량의 분포 수렴과 모멘트 수렴을 도출한다.

실험 결과

연구 질문

• RQ1 페널티 항이 도입될 경우, 페널티 퀸티 likelihood 추정이 다항형 대규변이 부등식(PLDI)을 유지할 수 있는가?
• RQ2 페널티 추정량은 확률 미분 방정식 모델에서 일致적인 변수 선택을 달성하는가?
• RQ3 모멘트 수렴과 분포 극한 측면에서 페널티 퀸티 likelihood 추정량의 점근적 행동은 어떠한가?
• RQ4 유한 표본 시뮬레이션에서 표본 크기가 증가함에 따라 모형 선택 확률은 어떻게 변화하는가?
• RQ5 제안된 방법은 SCAD나 MCP와 같은 비볼록 페널티를 다룰 수 있으며, 이론적 보장을 유지할 수 있는가?

주요 결과

• 페널티 항이 다항형 대규변이 부등식(PLDI)을 방해하지 않아 추정량의 균일한 적분 가능성과 모멘트 수렴을 보장한다.
• LAQ 조건 하에서 추정량은 점근적 정규성과 모멘트 수렴을 달성하여 신뢰할 수 있는 추론이 가능하다.
• 확률적 변동성 회귀 모형에서, 올바른 모형 선택 확률은 n=1000일 때 0.591에서 n=10000일 때 0.998로 증가한다.
• 과도한 모형(영인자들을 잘못 포함) 선택 확률은 n=1000일 때 0.606에서 n=10000일 때 1.0으로 감소한다.
• 비제로 매개변수의 편향은 표본 크기가 증가함에 따라 크게 감소하여, 페널티 추정량에서 n=1000일 때 0.396에서 n=10000일 때 0.077로 감소한다.
• 페널티 추정량은 높은 모형 선택 정확도를 달성하며, n=2000일 때 98.9%의 확률로 정확한 모형을 선택하고, n=10000일 때는 99.8%의 확률로 정확한 모형을 선택한다.