[論文レビュー] Validation of internal rating systems and PD estimates

Dirk Tasche|arXiv (Cornell University)|Jun 7, 2006

Credit Risk and Financial Regulations参考文献 4被引用数 18

ひとこと要約

本稿は、バセルIIにおける内部格付けシステムおよびデフォルト確率（PD）推定値の統計的妥当性検証手法を提示し、キャリブレーション、識別力、単調性に焦点を当てる。無条件PDのキャリブレーションに対する正規近似検定を提案するが、これは断面的独立性の仮定を回避するが、短い時系列（例：5〜10年）では検出力が限定的であることが、モンテカルロシミュレーションで示された。真のPDが2.5%で推定PDが2%の場合、5年間のシミュレーションで有意水準α=1%のときの棄却率は19.6%、α=10%のときの棄却率は30.1%であった。

ABSTRACT

This paper elaborates on the validation requirements for rating systems and probabilities of default (PDs) which were introduced with the New Capital Standards (Basel II). We start in Section 2 with some introductory remarks on the topics and approaches that will be discussed later on. Then we have a view on the developments in banking regulation that have enforced the interest of the public in validation techniques. When doing so, we put the main emphasis on the issues with quantitative validation. The techniques discussed here could be used in order to meet the quantitative regulatory requirements. However, their appropriateness will depend on the specific conditions under which they are applied. In order to have a common ground for the description of the different techniques, we introduce in Section 3 a theoretical framework that will be the basis for the further considerations. Intuitively, a good rating system should show higher probabilities of default for the less creditworthy rating grades. Therefore, in Section 4, we discuss how this monotonicity property is reflected in the theoretical framework from Section 3. In Section 5, we study the meaning of discriminatory power and some tools for measuring it in some detail. We will see that there are tools that might be more appropriate than others for the purpose of regulatory validation of discriminatory power. The topic in Section 6 is calibration of rating systems. We introduce some of the tests that can be used for checking correct calibration and discuss the properties of the different tests. We then conclude in Section 7 with some comments on the question which tools might be most appropriate for quantitative validation of rating systems and probabilities of default.

研究の動機と目的

• バセルII下での内部格付けシステムおよびPD推定値の妥当性検証に向けた規制適合フレームワークを提供すること。
• 特に限られた時系列データ下でのキャリブレーションのための統計的検定の適切さを評価すること。
• 識別力の測定に用いられる妥当性ツール（Accuracy RatioおよびAUC）の性能を評価すること。
• 独立性仮定および正規近似に基づくキャリブレーション検定のロバストネスを検討すること。
• 銀行および監督当局が内部格付けおよびPD推定値の妥当性検証に適切な手法を選択するのを支援すること。

提案手法

• 無条件PD推定と時系列デフォルトデータに基づく理論的枠組みを用いて、キャリブレーションを評価する。
• 断面的独立性を要件としない、平均年間デフォルト率に対する正規近似検定を適用する。
• 正しいキャリブレーションの帰無仮説の下で、平均デフォルト率の標準誤差を用いて検定統計量を構築する。
• T=5年およびT=10年を想定したモンテカルロシミュレーションを用い、正規近似検定の第一種誤り確率および検出力を評価する。
• 断面的独立性の強い仮定を要する従来の手法（二項分布、Hosmer-Lemeshow、Spiegelhalter検定）と比較する。
• Accuracy RatioおよびROC曲線下の面積（AUC）を用いて識別力を評価する。これらの指標は統計ソフトウェアで広く利用可能である。

実験結果

リサーチクエスチョン

• RQ1 短い時系列データがある状況下で、バセルII下での内部格付けシステムのPD推定値の正しいキャリブレーションをどのように検証できるか。
• RQ2 断面的独立性を仮定しない状況下で、PDキャリブレーションに対する正規近似検定の統計的性質およびロバストネスはいかなるものか。
• RQ3 時系列が短い（例：5年）場合、正規近似検定の検出力は、二項分布やHosmer-Lemeshow検定といった従来手法と比べてどの程度か。
• RQ4 規制的文脈において、格付けシステムの識別力を測るのに最も適切な指標は何か。
• RQ5 標準キャリブレーション検定における独立性仮定が、妥当性検証の結果の有効性に及ぼす影響はどの程度か。

主な発見

• PDキャリブレーションに対する正規近似検定は、1年間の借り手間の断面的独立性を要件としないため、従来の手法よりも柔軟性に優れる。
• 検定は第一種誤りの制御は妥当に維持されるが、短い時系列では検出力が限定的である。真のPDが2.5%で推定PDが2%の場合、5年間の期間で有意水準α=1%のときの棄却率は19.6%、α=10%のときの棄却率は30.1%であった。
• 弱い時系列的自己相関に対しても検定は比較的ロバストであるが、非常に短い時系列（例：T=5）では性能が低下する。
• 従来の手法（二項分布、Hosmer-Lemeshow、Spiegelhalter）は検出力が高いが、実務では成立しない可能性の高い独立性仮定に強く依存している。
• Accuracy RatioおよびAUCは、統計的性質が明確で、標準ソフトウェアで容易に利用できるため、識別力の測定に推奨される。
• 実務では統計モデルとエキスパートの判断による上書きを組み合わせたハイブリッドモデルが一般的であるが、妥当性検証では依然としてPD推定値の正しいキャリブレーションと単調性の確保が不可欠である。