[논문 리뷰] Two-temperature logistic regression based on the Tsallis divergence

Ehsan Amid, Manfred K. Warmuth외 1명|arXiv (Cornell University)|2017. 05. 19.

Advanced Statistical Methods and Models참고 문헌 8인용 수 7

한 줄 요약

이 논문은 두 개의 별개의 온도 매개변수를 사용하는 두 온도 로지스틱 회귀(2TRL)를 제안한다. 이는 일반화된 로그와 일반화된 지수에 각각 적용되는 두 개의 온도 매개변수를 통해 로지스틱 회귀를 일반화하는 강건한 다중분류 방법이다. 이러한 온도를 조정함으로써, 표준 로지스틱 회귀나 t-로지스틱 회귀보다 훨씬 더 강건한 유계의 준볼록 대체 손실을 달성할 수 있으며, 이는 레이블 노이즈와 인스턴스 노이즈에 대해 강건하다. 동시에 학습 효율성은 유사하게 유지된다.

ABSTRACT

We develop a variant of multiclass logistic regression that is significantly more robust to noise. The algorithm has one weight vector per class and the surrogate loss is a function of the linear activations (one per class). The surrogate loss of an example with linear activation vector $\mathbf{a}$ and class $c$ has the form $-\log_{t_1} \exp_{t_2} (a_c - G_{t_2}(\mathbf{a}))$ where the two temperatures $t_1$ and $t_2$ ''temper'' the $\log$ and $\exp$, respectively, and $G_{t_2}(\mathbf{a})$ is a scalar value that generalizes the log-partition function. We motivate this loss using the Tsallis divergence. Our method allows transitioning between non-convex and convex losses by the choice of the temperature parameters. As the temperature $t_1$ of the logarithm becomes smaller than the temperature $t_2$ of the exponential, the surrogate loss becomes ''quasi convex''. Various tunings of the temperatures recover previous methods and tuning the degree of non-convexity is crucial in the experiments. In particular, quasi-convexity and boundedness of the loss provide significant robustness to the outliers. We explain this by showing that $t_1 < 1$ caps the surrogate loss and $t_2 >1$ makes the predictive distribution have a heavy tail. We show that the surrogate loss is Bayes-consistent, even in the non-convex case. Additionally, we provide efficient iterative algorithms for calculating the log-partition value only in a few number of iterations. Our compelling experimental results on large real-world datasets show the advantage of using the two-temperature variant in the noisy as well as the noise free case.

연구 동기 및 목표

• 기존의 볼록 대체 손실보다 노이즈 데이터를 더 잘 다룰 수 있는 더 강건한 다중분류 로지스틱 회귀 방법을 개발하는 것.
• 무한대 손실 증가로 인해 외곽값에 의해 지배받을 수 있는 볼록 손실의 한계를 해결하는 것.
• t-로지스틱 회귀 접근법을 일반화하기 위해 손실 성질을 더 세밀하게 제어할 수 있도록 두 개의 독립적인 온도 매개변수를 도입하는 것.
• 비볼록 영역에서도 베이즈 일致성을 확보하여 노이즈 하에서 신뢰할 수 있는 학습을 가능하게 하는 것.
• t-지수 가족에서 정규화 상수를 계산하기 위한 효율적인 알고리즘을 제공하는 것.

제안 방법

• 대체 손실은 $-\log_{t_1} \exp_{t_2}(a_c - G_{t_2}(\mathbf{a}))$로 정의되며, $t_1$과 $t_2$는 각각 일반화된 로그와 일반화된 지수에 대한 온도 매개변수이다.
• 정규화 상수 $G_{t_2}(\mathbf{a})$는 약 20회 반복 내에 $10^{-10}$ 정확도로 수렴하는 효율적인 반복 알고리즘을 통해 계산된다.
• 이 방법은 t-지수 가족 분포와 자연스럽게 일치하는 타illis 분산을 기초적인 분산 측도로 사용한다.
• 온도 $t_1 < 1$는 손실의 상한선을 설정하여 유계성을 확보하고, $t_2 > 1$는 무거운 尾部 예측 분포를 유도한다.
• 비볼록성 증가에 따라 손실은 볼록($t_1 = t_2 = 1$)에서 준볼록($t_1 < t_2$)으로 전이되며, 이는 강건성을 향상시킨다.
• 비볼록 케이스에서도 이 방법은 베이즈 일치성을 유지하여 적절한 모델 가정 하에서 渐近 최적성을 보장한다.

실험 결과

연구 질문

• RQ1 두 개의 독립적인 온도 매개변수를 가진 일반화된 로지스틱 회귀가 기존의 볼록 또는 비볼록 방법보다 레이블 노이즈와 인스턴스 노이즈에 대해 더 강건한가?
• RQ2 온도 $t_1 < 1$로 유도되는 대체 손실의 유계성은 외곽값에 대한 강건성에 어떻게 기여하는가?
• RQ3 온도 $t_2 > 1$로 인한 꼬리의 두꺼움은 표준 로지스틱 회귀에 비해 강건성에 얼마나 기여하는가?
• RQ4 비볼록인 경우에도 제안된 두 온도 손실 함수는 여전히 베이즈 일치성을 보장하는가?
• RQ5 정확도를 희생시키지 않고 정규화 상수의 효율적 계산이 가능한가?

주요 결과

• 두 온도 로지스틱 회귀(2TRL) 방법은 다양한 실제 데이터셋에서 레이블 노이즈와 인스턴스 노이즈에 대해 표준 로지스틱 회귀나 t-로지스틱 회귀보다 뛰어난 강건성을 달성한다.
• 온도 $t_1 = 0.6$와 $t_2 = 1.6$ 설정 시, 대체 손실은 상한선 $1/(1 - t_1) = 2.5$로 제한되어 개별 외곽값이 손실에 지배당하는 것을 방지한다.
• Covertype 데이터셋에서 33%의 인스턴스 노이즈 조건 하에서 2TRL은 테스트 정확도 74.2%를 기록했으며, t-로지스틱 회귀(68.1%)와 표준 로지스틱 회귀(65.3%)보다 뚜렷이 뛰어나다.
• 10%의 랜덤 레이블 노이즈 조건 하에서 2TRL은 테스트한 모든 데이터셋에서 최고의 정확도를 기록했으며, 최적의 성능는 $0 < t_1 < 1$ 조건에서 달성되어, 유계의 비볼록 손실의 중요성을 시사한다.
• 정규화 상수 $G_{t_2}(\mathbf{a})$를 계산하기 위한 반복 알고리즘은 약 20회 반복 내에 $10^{-10}$ 정확도로 수렴하며, 계산 오버헤드는 극히 미미하다.
• 비볼록임에도 불구하고 이 방법은 여전히 베이즈 일치성을 유지하여 올바른 모델 가정 하에서 渐近 최적성을 보장한다.