[논문 리뷰] The Constrained Maximum Likelihood Estimation For Parameters Arising From Partially Identified Models

Hao Luo, Alexandre Bouchard‐Côté외 2명|arXiv (Cornell University)|2016. 07. 29.

Statistical Methods and Inference참고 문헌 5인용 수 3

한 줄 요약

이 논문은 추가적인 가정으로부터 유도되는 등식 제약 조건을 활용하여 부분적으로 식별된 모형에 대해 제약을 가한 최대우도추정법을 확장한다. 이는 점식별을 달성한다. 논문은 제약을 가한 최대우도추정량의 존재성과 점근적 정규성을 증명하며, 초과식별된 경우 비제약 추정량보다 더 높은 효율성을 보여주고, 투명한 재매개변수화와 라그랑주 승수를 사용한 수치 알고리즘을 제공한다.

ABSTRACT

We extend the constrained maximum likelihood estimation theory for parameters of a completely identified model, proposed by Aitchison and Silvey (1958), to parameters arising from a partially identified model. With a partially identified model, some parameters of the model may only be identified through constraints imposed by additional assumptions. We show that, under certain conditions, the constrained maximum likelihood estimator exists and locally maximize the likelihood function subject to constraints. We then study the asymptotic distribution of the estimator and propose a numerical algorithm for estimating parameters. We also discuss a special situation where exploiting additional assumptions does not improve estimation efficiency.

연구 동기 및 목표

• 결측 또는 정보 부족으로 인해 데이터가 매개변수를 부분적으로만 식별하는 통계 모형에서 매개변수를 추정하는 데 도전하는 문제를 다루기.
• 식별이 오직 부여된 등식 제약 조건에 의해만 발생할 때 제약을 가한 최대우도추정법에 대한 이론적 프레임워크를 개발하기.
• 제약을 가한 최대우도추정량의 존재성과 점근적 정규성을 보장하는 조건을 설정하여, 고전적 이론을 부분적으로 식별된 모형으로 확장하기.
• 투명한 재매개변수화와 라그랑주 승수 방법을 사용하여 제약을 가한 최대우도추정량을 계산하는 수치 알고리즘을 제안하기.
• 다양한 식별 구조(정식별 대비 초과식별)에서 제약을 가한 추정법이 비제약 방법에 비해 효율성이 어떻게 향상되는지 조사하기.

제안 방법

• 식별 가능한 매개변수(ϕ)와 식별 불가능한 매개변수(ψ)를 분리하는 투명한 재매개변수화를 사용하여 모형을 설정하되, 로그우도가 오직 ϕ에 의존하도록 한다.
• 전체 매개변수 벡터 ω = (ϕ, ψ)에 대해 t개의 등식 제약 조건 h(ω) = 0을 도입하여 점식별을 달성한다. 이때 t ≥ s−r 및 t ≤ r 라는 조건을 가정한다.
• 로거스티크 함수를 제약 조건 h(ω) = 0 하에 최대화하기 위해 라그랑주 승수법을 적용한다.
• 정규 조건 하에서 제약을 가한 최대우도추정량의 점근적 분포를 유도하며, 정규 분포로 수렴함을 보인다.
• 실제로 제약을 가한 최대우도추정량을 계산하기 위해 라그랑주 승수법 기반의 수치 최적화 알고리즘을 개발한다.
• 모의 실험을 통해 다양한 가정과 식별 구조 하에서 제약을 가한 최대우도추정량과 비제약 추정량의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 부분적으로 식별된 모형에서 매개변수에 대한 제약을 가한 최대우도추정량이 존재하는 조건은 무엇인가?
• RQ2 부분적으로 식별된 모형에서 제약을 가한 최대우도추정량의 점근적 분포는 비제약 추정량과 어떻게 비교되는가?
• RQ3 어떤 경우에 추가 제약 조건을 도입함으로써 부분적으로 식별된 모형에서 추정 효율성이 향상되는가?
• RQ4 제약 수와 식별 상태(정식별 대비 초과식별) 사이의 관계는 추정량의 효율성에 어떤 영향을 미치는가?
• RQ5 어떤 상황에서 제약 조건을 도입해도 효율성 향상이 없으며, 그 이유는 무엇인가?

주요 결과

• 정규 조건 하에서, 모형이 부분적으로 식별되어도 제약을 가한 최대우도추정량은 존재하며 국소적으로 우도 함수를 최대화한다.
• 제약을 가한 최대우도추정량은 점근적으로 정규 분포를 따르며, 제약 조건 하에서 관측 정보 행렬로부터 분산-공분산 행렬을 유도할 수 있다.
• 비식별 매개변수 수를 초과하는 제약 조건 수를 가진 초과식별 케이스에서는, 제약을 가한 최대우도추정량이 비제약 추정량보다 분산이 낮아지며, 이는 효율성 향상을 보여준다.
• 정식별 케이스(제약 수 = 비식별 매개변수 수)에서는 제약을 가한 추정량과 비제약 추정량이 점근적으로 일치하며, 동일한 점근적 분포를 가진다.
• 특정 모의 실험 예제에서는 제약을 가한 추정량의 대각 분산이 비제약 추정량보다 균일하게 작았으며, 첫 번째 매개변수의 경우 분산이 0.205에서 0.197로 감소하여 명백한 효율성 향상을 확인할 수 있었다.
• 결측이 무작위라는 가정만을 사용할 경우(비식별 매개변수 4개에 대해 제약 4개), 효율성 향상이 관찰되지 않았다. 이는 추정량이 점근적으로 일치하기 때문이며, 정식별 상태에서는 비제약 추정보다 개선되지 않음을 확인한다.