[논문 리뷰] Tailoring to the Tails: Risk Measures for Fine-Grained Tail Sensitivity

Christian Fröhlich, Robert C. Williamson|arXiv (Cornell University)|2022. 08. 05.

Risk and Portfolio Optimization인용 수 4

한 줄 요약

이 논문은 f-분산 오차 집합과 재정렬 불변 바나흐 노름을 연결함으로써, 꼬리 행동을 제어하는 데 사용되는 기준 분포를 특정화하는 일반적인 프레임워크를 제안한다. 이 방법은 기대값을 특정 꼬리 민감도에 맞게 조정된 위험 측도로 대체할 수 있도록 기계학습 연구자들이 활용할 수 있도록 한다.

ABSTRACT

Expected risk minimization (ERM) is at the core of many machine learning systems. This means that the risk inherent in a loss distribution is summarized using a single number - its average. In this paper, we propose a general approach to construct risk measures which exhibit a desired tail sensitivity and may replace the expectation operator in ERM. Our method relies on the specification of a reference distribution with a desired tail behaviour, which is in a one-to-one correspondence to a coherent upper probability. Any risk measure, which is compatible with this upper probability, displays a tail sensitivity which is finely tuned to the reference distribution. As a concrete example, we focus on divergence risk measures based on f-divergence ambiguity sets, which are a widespread tool used to foster distributional robustness of machine learning systems. For instance, we show how ambiguity sets based on the Kullback-Leibler divergence are intricately tied to the class of subexponential random variables. We elaborate the connection of divergence risk measures and rearrangement invariant Banach norms.

연구 동기 및 목표

• 기대 위험 최소화(ERM)의 한계를 해결하기 위해, 꼬리 행동을 忽시하고 고분산 또는 치명적인 예측을 초래할 수 있음을 고려한다.
• 기계학습 연구자들이 위험 측도의 꼬리 민감도를 체계적으로 제어할 수 있도록 하는 방법을 제공함으로써, 위험 회피 또는 불확실성에 대한 회피 학습을 가능하게 한다.
• f-분산, 마르친키에비치, 로렌츠, 그리고 유틸리티 기반의 단절 측도와 같은 다양한 위험 측도를 재정렬 불변 바나흐 공간 기반의 통합 이론적 프레임워크 아래 통합한다.
• 올리츠 공간의 기본 함수 선택과 그로 인해 유도되는 위험 측도의 꼬리 민감도 사이의 명확한 연결 고리를 설정한다.
• f-분산 위험 측도가 자연스럽게 올리츠 회귀 측도의 확장으로 나타나며, 이는 실용적 구현과 편차 부등식을 가능하게 한다.

제안 방법

• 원하는 꼬리 행동을 갖는 기준 분포를 정의함으로써, 일관된 상위 확률을 유도하고, 이에 따라 꼬리 민감도가 제어된 위험 측도를 생성한다.
• 표본 분포 P를 중심으로 한 f-분산 오차 집합을 사용하여 분포에 대한 강건성을 모델링하며, 여기서 분산 함수 f는 허용되는 재가중치와 꼬리 행동을 제어한다.
• 기본 함수를 통한 연결을 통해 f-분산 위험 측도와 올리츠 노름 사이의 대응 관계를 수립함으로써 꼬리 민감도에 대한 정밀한 제어를 가능하게 한다.
• 마르친키에비치 및 로렌츠 노름과 같은 등가 위험 측도를 유도하며, 이는 동일한 꼬리 민감도를 갖는다. 이는 최적화 과정에서의 대체 수단이 될 수 있다.
• 재정렬 불변 바나흐 공간 이론을 활용하여 기존의 위험 측도(CVar 및 스펙트럼 위험 측도 포함)를 통합하고 일반화한다.
• 딥러닝 프레임워크(예: PyTorch)에서 효율적인 최적화를 가능하게 하기 위해, 심지어 배치 환경에서도 사용 가능한 인프리움 기반 표현식(식 36)을 제공한다.

실험 결과

연구 질문

• RQ1 기계학습에서 원하는 수준의 꼬리 민감도를 갖는 위험 측도를 어떻게 시스템적으로 구성할 수 있는가?
• RQ2 f-분산 함수 f의 선택과 그로 인해 유도되는 위험 측도의 꼬리 행동 사이의 관계는 무엇인가?
• RQ3 마르친키에비치, 로렌츠, 올리츠 노름과 같은 다양한 일관된 위험 측도는 꼬리 민감도와 실용적 구현 가능성 측면에서 어떻게 상호 관련되어 있는가?
• RQ4 재정렬 불변 바나흐 공간의 기본 함수가 위험 측도의 꼬리 민감도에 따라 분류하는 데 통합 기준으로 기능할 수 있는가?
• RQ5 표본 수가 유한한 상황에서 기대값 대신 이러한 위험 측도를 사용할 경우, 추정 안정성과 유한 표본에서의 수렴에 대해 어떤 영향을 미치는가?

주요 결과

• f-분산 함수 f의 선택은 결과 위험 측도의 꼬리 민감도를 직접 결정하며, KL 분산은 지수적 꼬리 행동에 해당한다.
• f-분산 위험 측도는 특정 올리츠 회귀 측도와 등가이며, 관련된 올리츠 공간의 기본 함수가 꼬리 민감도를 완전히 특징짓는다.
• 마르친키에비치 노름과 그에 해당하는 위험 측도는 매우 꼬리 민감도가 높은 f-분산 위험 측도와 등가이며, 계산적으로 실현 가능한 대안을 제공한다.
• 인프리움 기반 표현식(식 36)은 딥러닝 프레임워크에서 효율적인 구현을 가능하게 하며, PyTorch에서 학습을 위한 단 한 줄의 코드로도 가능하다.
• f-분산 위험 측도에 대해 편차 부등식을 도출할 수 있으며, 이는 이론적 분석과 일반화 경계를 지원한다.
• 논문은 더 꼬리 민감도가 높은 위험 측도가 유한 표본에서 추정하기 더 어려울 것이라 추측하며, 강건성과 통계적 안정성 사이의 상충 관계를 제기한다.