[論文レビュー] Two-temperature logistic regression based on the Tsallis divergence

Ehsan Amid, Manfred K. Warmuth+1 more|arXiv (Cornell University)|May 19, 2017

Advanced Statistical Methods and Models参考文献 8被引用数 7

ひとこと要約

本稿では、2つの異なる温度パラメータ（一般化対数のためのものと一般化指数関数のためのもの）を用いる二温度ロジスティック回帰（2TRL）を提案する。この手法は、Tsallis散発を用いてロジスティック回帰を一般化し、ラベルノイズおよびインスタンスノイズに対して標準的ロジスティック回帰やt-ロジスティック回帰よりも著しく高いロバスト性を達成する。同時に、訓練効率は同等を維持する。

ABSTRACT

We develop a variant of multiclass logistic regression that is significantly more robust to noise. The algorithm has one weight vector per class and the surrogate loss is a function of the linear activations (one per class). The surrogate loss of an example with linear activation vector $\mathbf{a}$ and class $c$ has the form $-\log_{t_1} \exp_{t_2} (a_c - G_{t_2}(\mathbf{a}))$ where the two temperatures $t_1$ and $t_2$ ''temper'' the $\log$ and $\exp$, respectively, and $G_{t_2}(\mathbf{a})$ is a scalar value that generalizes the log-partition function. We motivate this loss using the Tsallis divergence. Our method allows transitioning between non-convex and convex losses by the choice of the temperature parameters. As the temperature $t_1$ of the logarithm becomes smaller than the temperature $t_2$ of the exponential, the surrogate loss becomes ''quasi convex''. Various tunings of the temperatures recover previous methods and tuning the degree of non-convexity is crucial in the experiments. In particular, quasi-convexity and boundedness of the loss provide significant robustness to the outliers. We explain this by showing that $t_1 < 1$ caps the surrogate loss and $t_2 >1$ makes the predictive distribution have a heavy tail. We show that the surrogate loss is Bayes-consistent, even in the non-convex case. Additionally, we provide efficient iterative algorithms for calculating the log-partition value only in a few number of iterations. Our compelling experimental results on large real-world datasets show the advantage of using the two-temperature variant in the noisy as well as the noise free case.

研究の動機と目的

• 既存の凸な代替損失関数よりも、ノイズの多いデータをよりよく扱える多クラスロジスティック回帰手法の開発。
• 凸損失関数の限界、特に無限大に発散する損失のため、外れ値に支配されやすい問題の解消。
• t-ロジスティック回帰のアプローチを一般化し、損失関数の性質をより細かく制御できる2つの独立した温度パラメータの導入。
• 非凸領域においてもベイズ一貫性を保証することで、ノイズ下でも信頼できる学習を可能にする。
• t-指数分布族における正規化定数を効率的に計算するアルゴリズムの提供。

提案手法

• 代替損失関数は $-\log_{t_1} \exp_{t_2}(a_c - G_{t_2}(\mathbf{a}))$ として定義され、$t_1$ と $t_2$ はそれぞれ一般化対数および一般化指数関数の温度パラメータである。
• 正規化定数 $G_{t_2}(\mathbf{a})$ は、約20回の反復で $10^{-10}$ の精度に収束する効率的な反復アルゴリズムにより計算される。
• この手法は、t-指数分布族と自然に整合するTsallis散発を基本的な散発測度として用いる。
• 温度 $t_1 < 1$ により損失が上限を持つようになり、有界性が保証される。一方、$t_2 > 1$ により、重たい尾部を持つ予測分布が得られる。
• 非凸性が増すに従い、損失関数は凸（$t_1 = t_2 = 1$）から準凸（$t_1 < t_2$）に移行し、ロバスト性が向上する。
• 非凸の場合でも、この手法はベイズ一貫性を保つため、適切なモデル仮定のもとで漸近的最適性が保証される。

実験結果

リサーチクエスチョン

• RQ1 2つの独立した温度パラメータを用いた一般化ロジスティック回帰は、既存の凸または非凸手法よりも、ラベルノイズおよびインスタンスノイズに対して優れたロバスト性を達成できるか？
• RQ2 温度 $t_1 < 1$ によって誘発される代替損失の有界性は、外れ値に対してどのようにロバスト性を向上させるか？
• RQ3 温度 $t_2 > 1$ によって生じる尾部の重さは、標準的ロジスティック回帰と比較して、どの程度ロバスト性を向上させるか？
• RQ4 非凸な場合でも、提案された二温度損失関数はベイズ一貫性を保っているか？
• RQ5 正規化定数の計算を精度を損なわずに効率的に行うことは可能か？

主な発見

• 二温度ロジスティック回帰（2TRL）は、複数の現実世界のデータセットにおいて、ラベルノイズおよびインスタンスノイズに対して優れたロバスト性を示し、標準的ロジスティック回帰やt-ロジスティック回帰を上回る性能を発揮した。
• 温度 $t_1 = 0.6$ および $t_2 = 1.6$ の条件下では、代替損失が上界 $1/(1 - t_1) = 2.5$ で有界となり、個々の外れ値が損失に与える影響が抑制された。
• Covertypeデータセットでは、33%のインスタンスノイズ下でも2TRLが74.2%のテスト精度を達成し、t-ロジスティック回帰（68.1%）および標準的ロジスティック回帰（65.3%）を大きく上回った。
• 10%のランダムラベルノイズ下では、テストしたすべてのデータセットで2TRLが最高精度を記録し、$0 < t_1 < 1$ の条件下で最適性能が達成された。これは、有界で非凸な損失関数の重要性を示している。
• 正規化定数 $G_{t_2}(\mathbf{a})$ を計算する反復アルゴリズムは、約20回の反復で $10^{-10}$ の精度に収束し、計算コストは無視できるほど小さい。
• 非凸であるにもかかわらず、この手法はベイズ一貫性を保ち、正しいモデル仮定のもとで漸近的最適性が保証される。