[논문 리뷰] Toward a Characterization of Loss Functions for Distribution Learning

Nika Haghtalab, Cameron Musco외 1명|arXiv (Cornell University)|2019. 06. 06.

Machine Learning and Algorithms참고 문헌 22인용 수 5

한 줄 요약

이 논문은 분포 학습에서 손실 함수를 특성화하기 위한 프레임워크를 제안하며, 적절성, 국소성, 강력한 적절성과 같은 축약 기준을 식별하여 후보 분포를 평가한다. 이는 모든 기준을 만족하는 손실 함수가 존재하지 않지만, 진실을 왜곡하지 않는 校정된 분포(즉, 진실을 왜곡하지 않는 분포)로 후보를 제한할 경우, 로그 손실과 같은 기존 손실뿐만 아니라 새로운 손실(예: 역근근 손실)을 포함한 광범위한 손실 클래스가 이러한 기준을 충족함을 보여주며, 고차원 분포 학습에서 로그 손실의 체계적인 대안을 가능하게 한다.

ABSTRACT

In this work we study loss functions for learning and evaluating probability distributions over large discrete domains. Unlike classification or regression where a wide variety of loss functions are used, in the distribution learning and density estimation literature, very few losses outside the dominant $log\ loss$ are applied. We aim to understand this fact, taking an axiomatic approach to the design of loss functions for learning distributions. We start by proposing a set of desirable criteria that any good loss function should satisfy. Intuitively, these criteria require that the loss function faithfully evaluates a candidate distribution, both in expectation and when estimated on a few samples. Interestingly, we observe that \emph{no loss function} possesses all of these criteria. However, one can circumvent this issue by introducing a natural restriction on the set of candidate distributions. Specifically, we require that candidates are $calibrated$ with respect to the target distribution, i.e., they may contain less information than the target but otherwise do not significantly distort the truth. We show that, after restricting to this set of distributions, the log loss, along with a large variety of other losses satisfy the desired criteria. These results pave the way for future investigations of distribution learning that look beyond the log loss, choosing a loss function based on application or domain need.

연구 동기 및 목표

• 분포 학습을 위한 좋은 손실 함수가 충족해야 할 축약 기준을 규명하는 것.
• 다른 잠재적 손실이 존재하는 바에도 불구하고 로그 손실이 왜 지배적인지 규명하는 것.
• 고차원 이산 영역에서 대체 손실이 적절하고 강인해지는 조건을 규명하는 것.
• 후보 분포를 목표 분포에 대해 校정된 분포로 제한할 경우, 비로그 손실의 적용 범위를 넓힐 수 있음을 보여주는 것.
• 역근근 손실을 포함한 새로운 종류의 적절한 손실 함수 클래스를 제안하고 분석하는 것 — 특히 ℓ₁ 노름 하에서 강력한 적절성을 확보함.

제안 방법

• 적절성(진실 분포에서 기대 손실이 최소화됨), 국소성(관측된 결과에 대한 예측 확률에만 의존함), 강력한 적절성(손실 차이가 분포 간 거리에 비례함) 등의 축약 기준 세트를 제안함.
• 진실을 왜곡하지만, 목표보다 정보가 적을 수 있는 분포를 포함하는 校정된 분포 개념을 도입함으로써, 더 강력한 이론적 보장을 가능하게 함.
• Bregman 산란과 강력한 볼록성을 사용하여 강력한 적절성을 수식화함 — 특히 ℓ₁ 및 ℓ₂ 노름에서.
• 엔트로피 함수의 이阶 도함수를 분석하여 새로운 적절한 손실 함수 클래스를 유도함 — h(q_x) = q_x^{1−α} (0 < α < 1) 기반으로.
• 특수한 사례로 역근근 손실을 구성함 (α = 0.5), 결과적으로 ℓ(q,x) = 1/√q_x + ∑√q_x′ 이며, 관련 Bregman 산란 D_H(p,q) = ∑(√p_x − √q_x)² / √q_x.
• ∑f(q_x) ≤ 1 이면, 결과 손실이 ℓ₁ 노름 하에서 1-강력히 적절함을 증명함 — 여기서 f(q_x) = q_x^{1+α}.

실험 결과

연구 질문

• RQ1 분포 학습을 위한 손실 함수가 후보 분포를 충실하게 평가하기 위해 충족해야 할 축약 성질은 무엇인가?
• RQ2 다른 잠재적 손실이 존재하는 바에도 불구하고 로그 손실이 왜 분포 학습에서 지배적인 선택이 되는가?
• RQ3 로그 손실을 초월하는 더 넓은 손실 함수의 클래스를 고차원 이산 영역에서 적절하고 강인한 성질을 갖도록 식별할 수 있는가?
• RQ4 비로그 손실이 강력한 적절성을 확보하고 진실 분포에 충실하게 유지할 수 있는 조건은 무엇인가?
• RQ5 강력한 볼록성과 Bregman 산란 프레임워크를 사용하여 어떤 새로운 잘 조율된 손실 함수를 구성할 수 있는가?

주요 결과

• 모든 후보 분포에 대해 모든 바람직한 기준(적절성, 국소성, 강력한 적절성)을 만족하는 손실 함수는 존재하지 않는다.
• 진실을 왜곡하지 않는 校정된 분포로 제한할 경우, 로그 손실과 다양한 다른 손실이 전부 바람직한 기준을 충족함.
• h(q_x) = 2√q_x 로 정의되는 역근근 손실은 새로운 적절한 손실이며, ℓ₁ 노름 하에서 1-강력히 적절하고, 제곱 헬링거 거리와 유사한 Bregman 산란을 가짐.
• α = 0.5 일 때, ℓ(q,x) = 1/√q_x + ∑√q_x′ 인 결과 손실 함수는 강력한 적절성을 확보하고 단체에서 유계임 — 이는 다른 형태에서 발생하는 무한대 발산 문제를 피함.
• 논문은 제곱 손실이 ℓ₂ 노름 하에서 1-강력히 적절하다는 것을 증명하지만, 이 성질은 ℓ₁ 기반의 강력한 적절성만큼 실용적으로 유용하지 않음.
• 0 < α < 1 이면 h(q_x) = q_x^{1−α} 기반의 손실 클래스는 적절하고, 유계이며, 강력히 적절한 손실의 가족을 제공하며, 로그 손실을 초월하는 일반화를 가능하게 함.