[論文レビュー] Tailoring to the Tails: Risk Measures for Fine-Grained Tail Sensitivity

Christian Fröhlich, Robert C. Williamson|arXiv (Cornell University)|Aug 5, 2022

Risk and Portfolio Optimization被引用数 4

ひとこと要約

本稿では、上側確率に関連する基準分布を指定することにより、尾挙動を制御する一般化された微細な尾感受性を持つ一貫性のあるリスク測度を構築するフレームワークを提案する。この手法はf-発散のあいまいさ集合を用い、リスク測度を再配列不変Banachノルムと結びつける。これにより、機械学習の実務家は、期待値を特定の尾感受性に適合したリスク測度に置き換えることが可能になる。

ABSTRACT

Expected risk minimization (ERM) is at the core of many machine learning systems. This means that the risk inherent in a loss distribution is summarized using a single number - its average. In this paper, we propose a general approach to construct risk measures which exhibit a desired tail sensitivity and may replace the expectation operator in ERM. Our method relies on the specification of a reference distribution with a desired tail behaviour, which is in a one-to-one correspondence to a coherent upper probability. Any risk measure, which is compatible with this upper probability, displays a tail sensitivity which is finely tuned to the reference distribution. As a concrete example, we focus on divergence risk measures based on f-divergence ambiguity sets, which are a widespread tool used to foster distributional robustness of machine learning systems. For instance, we show how ambiguity sets based on the Kullback-Leibler divergence are intricately tied to the class of subexponential random variables. We elaborate the connection of divergence risk measures and rearrangement invariant Banach norms.

研究の動機と目的

• 期待リスク最小化（ERM）の限界、すなわち尾挙動を無視し、高分散または壊滅的予測を引き起こす可能性があることに対処すること。
• 機械学習の実務家がリスク測度の尾感受性を体系的かつ制御可能にする手法を提供し、リスク回避的またはあいまいさ回避的学習を可能にすること。
• f-発散、Marcinkiewicz、Lorentz、および効用に基づくショートフォールリスク測度といった多様なリスク測度を、再配列不変Banach空間に基づく共通の理論枠組みに統合すること。
• Orlicz空間からの基本関数の選択と、その結果得られるリスク測度の尾感受性との明確な関係を確立すること。
• f-発散リスク測度が自然にOrliczレジット測度の拡張として現れることを示し、実装可能性と偏差不等式の両方を可能にすること。

提案手法

• 望ましい尾挙動を有する基準分布を定義し、これにより一貫性のある上側確率が誘導され、尾感受性が制御されたリスク測度が得られる。
• 経験分布Pを中心とするf-発散のあいまいさ集合を用い、分布的ロバストネスをモデル化する。ここで発散関数fが許容される再重み付けを制御し、結果として尾挙動を制御する。
• 基本関数を介してf-発散リスク測度とOrliczノルムの対応関係を確立し、尾感受性に対する微細な制御を可能にする。
• 同じ尾感受性を有する代替として、MarcinkiewiczおよびLorentzノルムのような同等のリスク測度を導出する。
• 再配列不変Banach空間の理論を活用し、CVarやスペクトルリスク測度を含む既存のリスク測度を統一的かつ一般化する。
• 深層学習フレームワーク（例：PyTorch）における実装を可能にする、下界に基づく表現（式36）を提供し、バッチ設定における効率的な最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 機械学習における望ましいレベルの尾感受性を示すリスク測度を体系的に構築する方法は何か？
• RQ2 f-発散関数fの選択と、その結果得られるリスク測度の尾挙動との関係は何か？
• RQ3 Marcinkiewicz、Lorentz、およびOrliczノルムといった異なる一貫性のあるリスク測度は、尾感受性および実装可能性の観点からどのように関連しているか？
• RQ4 再配列不変Banach空間の基本関数は、リスク測度の尾感受性に基づく分類の統一的基準として機能できるか？
• RQ5 有限標本からの推定安定性および収束性の観点で、期待値の代わりにこのようなリスク測度を経験的リスク最小化に用いる場合の影響は何か？

主な発見

• f-発散関数fの選択が、結果として得られるリスク測度の尾感受性を直接決定する。特に、KL発散は指数的尾挙動に対応する。
• f-発散リスク測度は特定のOrliczレジット測度と等価であり、関連するOrlicz空間の基本関数が尾感受性を完全に特徴付ける。
• Marcinkiewiczノルムおよびその対応するリスク測度は、極めて尾感受性の高いf-発散リスク測度と等価であり、計算的に実行可能な代替手段を提供する。
• 下界に基づく表現（式36）により、PyTorchのような深層学習フレームワークにおける効率的な実装が可能となり、学習にたった1行のコードで十分である。
• f-発散リスク測度に対して偏差不等式を導出可能であり、理論的分析および一般化境界の支援が可能である。
• 本稿では、より尾感受性の高いリスク測度は有限標本からの推定が困難であると仮説を立てており、耐性と統計的安定性の間のトレードオフを示唆している。