[논문 리뷰] Improving Regression Performance with Distributional Losses

Ehsan Imani, Martha White|arXiv (Cornell University)|2018. 06. 12.

Machine Learning and Data Classification참고 문헌 23인용 수 11

한 줄 요약

이 논문은 히스토그램 손실(HL)을 소개한다. HL은 타깃을 확률 분포로 모델링하고 예측된 분포와 타깃 분포 간의 KL 발산을 최소화함으로써 예측 정확도를 향상시키는 새로운 분포 기반 회귀 손실이다. 주요 기여는 성능 향상의 원인이 과적합 감소나 표현력 향상보다는 더 잘 최적화된 기울기 덕분이므로 더 빠른 수렴과 더 부드러운 훈련이 가능하다는 점이다.

ABSTRACT

There is growing evidence that converting targets to soft targets in supervised learning can provide considerable gains in performance. Much of this work has considered classification, converting hard zero-one values to soft labels---such as by adding label noise, incorporating label ambiguity or using distillation. In parallel, there is some evidence from a regression setting in reinforcement learning that learning distributions can improve performance. In this work, we investigate the reasons for this improvement, in a regression setting. We introduce a novel distributional regression loss, and similarly find it significantly improves prediction accuracy. We investigate several common hypotheses, around reducing overfitting and improved representations. We instead find evidence for an alternative hypothesis: this loss is easier to optimize, with better behaved gradients, resulting in improved generalization. We provide theoretical support for this alternative hypothesis, by characterizing the norm of the gradients of this loss.

연구 동기 및 목표

• 부드러운 타깃과 분포 기반 출력이 과적합 감소를 넘어서 회귀 성능을 향상시키는 이유를 탐구하기 위해.
• 모델링 유연성을 유지하면서도 빠른 계산을 가능하게 하는 새로운 효율적인 분포 기반 손실을 제안하기 위해.
• 분포 기반 회귀에서 성능 향상의 주요 원인을 표현력이나 정규화가 아닌 최적화 성질로 규명하기 위해.
• 더 나은 행동을 보이는 기울기가 일반화 성능 향상에 기여한다는 가설에 대해 이론적 및 실험적 근거를 제공하기 위해.

제안 방법

• 히스토그램 손실(HL)은 하드 회귀 타깃을 타깃 분포(예: 구간 내 균일 분포 또는 정규 분포)로 변환하고, 이 타깃 분포와 예측 히스토그램 밀도 간의 KL 발산을 최소화한다.
• 예측된 분포는 고정된 구간, 폭, 중심을 가진 히스토그램으로 표현되어, 모델링 능력을 훼손하지 않으면서도 KL 발산을 효율적으로 계산할 수 있다.
• 최종 예측은 예측된 히스토그램 분포의 기대값으로 계산되어 표준 회귀 평가와의 호환성을 확보한다.
• 손실 함수의 영향을 분리하기 위해 여러 데이터셋에 적용하여 표준 ℓ₂ 손실, 레이블 스무딩, 클리핑/노이즈가 첨가된 변형과 비교한다.
• 훈련 에포크 동안 기울기 노름을 계산하고 정규화하여 최적화 안정성과 수렴 속도를 평가한다.
• 제거 실험에서는 HL과 ℓ₂ + 소프트맥스, ℓ₂에 노이즈 또는 클리핑을 첨가한 경우를 비교하여 비선형성이나 정규화 외부 요인의 영향을 분리한다.

실험 결과

연구 질문

• RQ1 분포 기반 손실을 통해 회귀 타깃을 분포로 모델링하면 표준 ℓ₂ 손실을 초월해 일반화 성능을 향상시키는가?
• RQ2 성능 향상의 원인이 과적합 감소, 더 나은 표현력, 또는 개선된 최적화 역학인가?
• RQ3 훈련 중 히스토그램 손실의 기울기 노름이 표준 회귀 손실과 비교해 어떻게 다를까?
• RQ4 KL 발산 기반의 분포 기반 손실은 더 빠른 수렴과 더 안정적인 훈련을 이끌 수 있는가?
• RQ5 타깃 분포 선택(예: 정규 분포 대비 균일 분포)이 성능 및 최적화에 어떤 영향을 미치는가?

주요 결과

• 히스토그램 손실(HL)은 회귀 정확도를 크게 향상시켜, CT Position 데이터셋에서 테스트 MAE를 ℓ₂ 기준선의 18.421에서 8.992로 감소시켰다.
• HL-Gaussian는 기울기 노름 플롯을 통해 변동성이 낮고 빠르게 감쇠하는 것으로 나타나 ℓ₂보다 더 빠르고 부드러운 수렴을 보였다.
• 노이즈 또는 클리핑를 첨가한 ℓ₂와의 제거 실험을 통해 HL의 성능 향상가 과적합 감소나 더 나은 표현력 때문이 아니라는 것이 입증되었다.
• HL-Gaussian의 기울기 노름은 유한하고 안정적으로 유지되어 더 잘 최적화된 기울기가 일반화 성능 향상의 원인임을 지지하는 증거가 되었다.
• 100개의 파라미터와 비선형성을 추가한 ℓ₂ + 소프트맥스와 비교해도 HL-Gaussian는 훨씬 더 큰 격차로 승리했으며, 이는 손실 구조 자체가 핵심임을 시사한다.
• 이론적 분석을 통해 HL의 기울기 노름이 크게 증가하거나 크게 변동하지 않음을 확인하여, 유리한 최적화 성질을 뒷받침한다.