[논문 리뷰] AIC for Non-concave Penalized Likelihood Method

Yuta Umezu, Yusuke Shimizu외 2명|arXiv (Cornell University)|2015. 09. 05.

Statistical Methods and Inference참고 문헌 25인용 수 7

한 줄 요약

이 논문은 비볼록 페널티 최대우도 방법(예: 브릿지, SCAD, MCP)을 위한 원래 AIC 정의 기반의 새로운 정보기준을 제안한다. 점수 통계량 기반의 점근적 편향 평가를 통해 Kullback-Leibler 발산의 점근적 편향 없는 추정량을 도출함으로써, 모형 선택 일致성에 의존하지 않고 예측 오차를 최소화하는 방법을 제시하며, 시뮬레이션 연구에서 교차검증을 능가한다.

ABSTRACT

Non-concave penalized maximum likelihood methods, such as the Bridge, the SCAD, and the MCP, are widely used because they not only do parameter estimation and variable selection simultaneously but also have a high efficiency as compared to the Lasso. They include a tuning parameter which controls a penalty level, and several information criteria have been developed for selecting it. While these criteria assure the model selection consistency and so have a high value, it is a severe problem that there are no appropriate rules to choose the one from a class of information criteria satisfying such a preferred asymptotic property. In this paper, we derive an information criterion based on the original definition of the AIC by considering the minimization of the prediction error rather than the model selection consistency. Concretely speaking, we derive a function of the score statistic which is asymptotically equivalent to the non-concave penalized maximum likelihood estimator, and then we provide an asymptotically unbiased estimator of the Kullback-Leibler divergence between the true distribution and the estimated distribution based on the function. Furthermore, through simulation studies, we check that the performance of the proposed information criterion gives almost the same as or better than that of the cross-validation.

연구 동기 및 목표

• SCAD 및 MCP와 같은 비볼금 페널티 최대우도 방법의 조정 파rameter 선택의 임의성 문제를 해결하기 위해.
• 모형 선택 일치성에 의존하지 않고 예측 오차를 최소화하는 데 중점을 두고 원래 AIC 정의에 기반한 정보기준을 개발하기 위해.
• 진짜 분포와 추정된 분포 사이의 Kullback-Leibler 발산에 대해 이론적으로 타당하고 점근적으로 편향 없는 추정량을 제공하기 위해.
• 모두 모형 선택 일치성을 만족하는 정보기준들 사이에서 선택하는 데 있어 원칙적인 규칙의 부재를 해결하기 위해.
• Lasso를 초월하여 고차원 설정에서 비볼금, 비볼금 페널티에 대한 AIC 기반 기준을 확장하기 위해.

제안 방법

• 추정 일치성 하에 비볼금 페널티 추정량의 점근적 성질을 도출하기 위해 Hjort과 Pollard(1993)의 결과를 확장한다.
• 비볼금 페널티 최대우도 추정량과 점근적으로 동일한 점수 통계량의 함수를 구성한다.
• 점근적 편향 평가를 이용해 진짜 분포와 추정된 분포 사이의 Kullback-Leibler 발산 추정량을 도출한다.
• KL 발산 추정량의 편향이 평균에 대해 0으로 수렴하도록 보장하여 엄격한 점근적 편향 없음을 확립한다.
• 점근적 편향 평가를 이용해 예측 오차 최소화에 기반한 새로운 정보기준을 정의한다.
• 교차검증과의 성능 비교를 통한 시뮬레이션 연구를 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 모형 선택 일치성에 의존하지 않고 예측 오차를 최소화하는 원래 AIC 정의 기반의 정보기준을 도출할 수 있는가?
• RQ2 비볼금 페널티 최대우도 추정량에 대해 Kullback-Leibler 발산의 점근적 편향 없는 추정량을 구성할 수 있는가?
• RQ3 제안된 기준은 교차검증과 비교해 예측 정확도 및 조정 파rameter 선택 측면에서 어떻게 성능을 내는가?
• RQ4 제안된 방법은 조정 파rameter 선택의 임의성을 피하면서도 추정 일치성을 유지하는가?
• RQ5 AIC 프레임워크는 Lasso를 초월해 SCAD 및 MCP와 같은 비볼금 페널티로 확장될 수 있는가?

주요 결과

• 제안된 정보기준은 Kullback-Leibler 발산에 대해 점근적으로 편향 없으며, 편향이 평균에 대해 0으로 수렴한다.
• 이 방법은 원래 AIC 원칙을 직접적으로 타겟으로 삼아 모형 선택 일치성에 의존하지 않고 예측 오차 최소화를 달성한다.
• 시뮬레이션 연구에서 제안된 기준은 교차검증과 비교해 예측 정확도에서 동등하거나 더 우수한 성능을 보였다.
• KL 발산 추정량은 점수 통계량 기반의 점근적 편향 평가를 통해 구성되어 있어 이론적 엄밀성을 확보한다.
• 이전의 AIC 확장이 제한되었던 브릿지, SCAD, MCP와 같은 비볼금 페널티로 AIC 기반 기준을 확장한다.
• 예측 오차 최소화에 기반한 선택을 통해 일치성 정보기준들 사이에서의 선택의 임의성을 해결한다.