[논문 리뷰] Validation of internal rating systems and PD estimates

Dirk Tasche|arXiv (Cornell University)|2006. 06. 07.

Credit Risk and Financial Regulations참고 문헌 4인용 수 18

한 줄 요약

이 논문은 베를린 II 기준 하에서 내부 등급 시스템과 확률적 도산 가능성(PD) 추정치의 통계적 검증 기법을 제시하며, 校정, 분류 능력, 단조성에 중점을 둔다. 무작위 표본 독립성 가정을 필요로 하지 않는 무작위 PD 校정을 위한 정규 근사 검정을 제안한다. 그러나 짧은 시계열(예: 5~10년)에서는 검정력이 제한되며, 진짜 PD가 2.5%일 때 추정 PD가 2%인 경우 몬테카를로 시뮬레이션 결과에서 유의수준 1%일 때 기각률은 19.6%, 유의수준 10%일 때는 30.1%로 나타났다.

ABSTRACT

This paper elaborates on the validation requirements for rating systems and probabilities of default (PDs) which were introduced with the New Capital Standards (Basel II). We start in Section 2 with some introductory remarks on the topics and approaches that will be discussed later on. Then we have a view on the developments in banking regulation that have enforced the interest of the public in validation techniques. When doing so, we put the main emphasis on the issues with quantitative validation. The techniques discussed here could be used in order to meet the quantitative regulatory requirements. However, their appropriateness will depend on the specific conditions under which they are applied. In order to have a common ground for the description of the different techniques, we introduce in Section 3 a theoretical framework that will be the basis for the further considerations. Intuitively, a good rating system should show higher probabilities of default for the less creditworthy rating grades. Therefore, in Section 4, we discuss how this monotonicity property is reflected in the theoretical framework from Section 3. In Section 5, we study the meaning of discriminatory power and some tools for measuring it in some detail. We will see that there are tools that might be more appropriate than others for the purpose of regulatory validation of discriminatory power. The topic in Section 6 is calibration of rating systems. We introduce some of the tests that can be used for checking correct calibration and discuss the properties of the different tests. We then conclude in Section 7 with some comments on the question which tools might be most appropriate for quantitative validation of rating systems and probabilities of default.

연구 동기 및 목표

• 베를린 II 하에서 내부 등급 시스템과 PD 추정치를 검증하기 위한 규제 준수 프레임워크를 제공하기 위해.
• 특히 제한된 시계열 데이터 하에서 校정을 위한 통계적 검정의 적절성을 평가하기 위해.
• 분류 능력을 측정하기 위한 검증 도구인 정확도 비율(Accuracy Ratio)과 ROC 곡선 아래 면적(AUC)의 성능을 평가하기 위해.
• 독립성 가정과 정규 근사 가정 하에서의 校정 검정의 강건성(로버스트니)을 검토하기 위해.
• 은행과 감독기관이 내부 등급 및 PD 추정치에 적합한 검증 방법을 선택하는 데 도움을 주기 위해.

제안 방법

• 시계열 도산 데이터와 무조건적 PD 추정 기반 이론적 프레임워크를 사용하여 校정을 평가한다.
• 모든 연도의 평균 연간 도산률에 대한 정규 근사 검정을 적용하여 진짜 PD ≤ 추정 PD인지 검정한다. 이 경우 교차 섹션 독립성 가정이 필요하지 않다.
• 정확한 校정을 위한 귀무가설 하에서 평균 도산률의 표준오차를 사용하여 검정 통계량을 구성한다.
• 유의수준 1%와 10%에서 기각률과 검정력을 평가하기 위해 T=5년과 T=10년의 몬테카를로 시뮬레이션을 수행한다.
• 교차 섹션 독립성 가정을 더 강하게 요구하는 기존 방법(이항분포, 호스머-레메쇼우, 스피겔할터 검정 등)과 정규 근사 검정을 비교한다.
• 통계 소프트웨어에서 널리 사용 가능한 정확도 비율과 ROC 곡선 아래 면적을 활용하여 분류 능력을 평가한다.

실험 결과

연구 질문

• RQ1 제한된 시계열 데이터가 있는 상황에서, 내부 등급 시스템의 PD 추정치가 정확하게 校정되었는지 어떻게 검증할 수 있는가?
• RQ2 교차 섹션 독립성이 가정되지 않을 경우, PD 校정을 위한 정규 근사 검정의 통계적 성질과 강건성은 어떠한가?
• RQ3 시계열이 짧을 경우(예: 5년), 정규 근사 검정의 검정력은 기존의 이항분포나 호스머-레메쇼우 검정과 비교해 어떻게 되는가?
• RQ4 규제적 맥락에서 등급 시스템의 분류 능력을 측정하는 데 가장 적절한 지표는 무엇인가?
• RQ5 기존의 校정 검정에서 독립성 가정이 검증 결과의 타당성에 얼마나 큰 영향을 미치는가?

주요 결과

• PD 校정을 위한 정규 근사 검정은 연도 내 부채당 독립성 가정이 필요 없어 기존 검정보다 더 유연하다.
• 검정은 합리적인 제1종 오류 통제를 유지하지만 짧은 시계열에서는 검정력이 제한된다: 진짜 PD가 2.5%이고 추정 PD가 2%일 경우, 5년 동안 기각률은 각각 19.6%(α=1%)와 30.1%(α=10%)였다.
• 약한 시간적 상관관계에 대해서는 합리적인 강건성을 유지하지만, 매우 짧은 시계열(예: T=5)에서는 성능이 저하된다.
• 기존의 이항분포, 호스머-레메쇼우, 스피格尔할터 검정은 강력하지만 독립성 가정에 크게 의존하므로 실제 상황에서는 성립하지 않을 수 있다.
• 정확도 비율과 ROC 곡선 아래 면적은 통계적 성질이 잘 알려져 있고 표준 소프트웨어에서 쉽게 이용 가능하므로 분류 능력을 측정하는 데 권장된다.
• 통계 모델과 전문가의 수동 조정을 조합한 하이브리드 모델은 실무에서 흔히 사용되지만, 여전히 PD 추정치의 정확한 校정과 단조성 보장이 검증 과정에서 필요하다.