[논문 리뷰] Understanding the bias-variance tradeoff of Bregman divergences

Ben Adlam, Neha Gupta외 2명|arXiv (Cornell University)|2022. 02. 08.

Statistical Mechanics and Entropy인용 수 10

한 줄 요약

이 논문은 Bregman 발산에 대해 편향-분산 트레이드오프를 재해석함으로써 중심 예측을 이중 공간 평균으로 간주함으로써 편향과 분산의 통합 분석을 가능하게 하여 해결한다. 일반화된 총 분산 법칙을 수립하고, 이중 평균이 편향에 영향을 주지 않고 분산을 줄임을 보이며, 비대칭 손실(예: 교차 엔트로피) 하에서 앙상블링을 위한 원칙적인 프레임워크를 제공한다.

ABSTRACT

This paper builds upon the work of Pfau (2013), which generalized the bias variance tradeoff to any Bregman divergence loss function. Pfau (2013) showed that for Bregman divergences, the bias and variances are defined with respect to a central label, defined as the mean of the label variable, and a central prediction, of a more complex form. We show that, similarly to the label, the central prediction can be interpreted as the mean of a random variable, where the mean operates in a dual space defined by the loss function itself. Viewing the bias-variance tradeoff through operations taken in dual space, we subsequently derive several results of interest. In particular, (a) the variance terms satisfy a generalized law of total variance; (b) if a source of randomness cannot be controlled, its contribution to the bias and variance has a closed form; (c) there exist natural ensembling operations in the label and prediction spaces which reduce the variance and do not affect the bias.

연구 동기 및 목표

• Bregman 발산 기반의 편향-분산 분해에서 중심 예측의 이론적 투명성 부족 문제를 해결하기 위해.
• KL 발산 및 교차 엔트로피와 같은 비대칭 손실들 간의 편향과 분산 분석을 통합하기 위해.
• 중심 예측의 계산과 해석을 단순화하는 이중 공간 시각화를 제공하기 위해.
• 분산의 일반적 성질을 유도하고, 일반화된 총 분산 법칙을 도출하기 위해.
• 기본 공간과 이중 공간에서의 앙상블링이 편향과 분산에 미치는 영향을 규명하기 위해.

제안 방법

• Bregman 발산이 정의하는 이중 공간에서의 평균 예측의 원시 형태로 중심 예측을 재정의한다.
• 이중 공간에서의 평균의 원시 형태로 정의된 이중 평균을 도입하여, 편향을 유지하면서 분산을 줄인다.
• 볼록 쌍대 함수를 통한 기본 공간과 이중 공간 간의 이중성 관계를 이용해 기본 분산과 이중 분산을 연결한다.
• 일반화된 총 분산 법칙을 적용하여 독립적인 랜덤성 원천들 간의 모델 분산을 분해한다.
• 통제할 수 없는 랜덤성 원천으로부터 기인하는 불가피한 편향 기여도에 대한 닫힌 형태의 표현식을 유도한다.
• 이중 평균이 이중 볼록성 없이도 편향을 유지하면서 분산을 줄임을 보이며, 이는 이중 볼록성 조건이 필요하지 않음을 시사한다.

실험 결과

연구 질문

• RQ1 Bregman 발산 기반의 편향-분산 분해에서 중심 예측은 비대칭 케이스에서 어떻게 의미적으로 해석될 수 있는가?
• RQ2 Bregman 발산 하에서의 모델 분산은 일반화된 총 분산 법칙을 만족하는가?
• RQ3 기본 공간과 이중 공간에서의 앙상블링은 편향과 분산에 어떤 영향을 미치는가?
• RQ4 통제할 수 없는 랜덤성 원천으로부터 기인하는 불가피한 편향은 Bregman 발산 하에서 닫힌 형태로 표현될 수 있는가?
• RQ5 이중 공간 시각화는 대칭 및 비대칭 Bregman 발산 간의 편향과 분산 행동을 어떻게 통합하는가?

주요 결과

• Bregman 발산 기반의 편향-분산 분해에서 중심 예측은 이중 공간에서의 기대 예측의 원시 형태이며, 이는 이전의 투명성 부족 문제를 해결한다.
• 모델 분산은 일반화된 총 분산 법칙을 만족하여, 독립적인 랜덤성 원천들 간의 정밀한 분해를 가능하게 한다.
• 통제할 수 없는 랜덤성 원천은 닫힌 형태로 편향과 분산에 기여하며, 명시적인 표현식이 도출되었다.
• 예측 공간에서의 이중 평균은 이중 볼록성이 없더라도 편향에 영향을 주지 않고 분산을 줄인다.
• 기본 평균은 편향을 임의로 변화시킬 수 있지만, 이중 평균은 일관되게 분산을 줄이고 편향을 유지하며, 고전적 앙상블링 행동을 일반화한다.
• 이중 공간 프레임워크는 대칭 및 비대칭 Bregman 발산, 특히 교차 엔트로피와 KL 발산을 포함한 다양한 손실 함수 간의 편향과 분산 분석을 통합한다.