[論文レビュー] Quantifying Learning Guarantees for Convex but Inconsistent Surrogates

Kirill Struminsky, Simon Lacoste-Julien+1 more|arXiv (Cornell University)|Oct 1, 2018

Machine Learning and Data Classification被引用数 2

ひとこと要約

本稿は、凸学習における2次補間関数のキャリブレーション関数に対する新しい下界を導入し、機械学習補間関数の不一致性に関する定量的分析を可能にする。不一致な補間関数でさえも、標本複雑性および最適化の保証を提供することを示しており、多クラス分類および順序付けタスクへの応用において、近似精度と計算効率のトレードオフが生じることを明らかにする。

ABSTRACT

We study consistency properties of machine learning methods based on minimizing convex surrogates. We extend the recent framework of Osokin et al. (2017) for the quantitative analysis of consistency properties to the case of inconsistent surrogates. Our key technical contribution consists in a new lower bound on the calibration function for the quadratic surrogate, which is non-trivial (not always zero) for inconsistent cases. The new bound allows to quantify the level of inconsistency of the setting and shows how learning with inconsistent surrogates can have guarantees on sample complexity and optimization difficulty. We apply our theory to two concrete cases: multi-class classification with the tree-structured loss and ranking with the mean average precision loss. The results show the approximation-computation trade-offs caused by inconsistent surrogates and their potential benefits.

研究の動機と目的

• Osokinら（2017）の定量的整合性フレームワークを、不一致な補間関数へと拡張すること。
• 不一致な状況下でも有効な、2次補間関数のキャリブレーション関数に対する非自明な下界を確立すること。
• 不一致の程度を定量化し、標本複雑性および最適化の難易度に与える影響を測定すること。
• 木構造の損失関数を用いた多クラス分類や、平均平均精度損失関数を用いた順序付けタスクといった、実世界の応用を分析すること。

提案手法

• 不一致な状況下においても有効な、2次補間関数のキャリブレーション関数に対する非自明な下界を導出する。
• この下界を用いて、補間ベース学習における不一致の度合いを評価する。
• 下界を用いて、不一致な学習設定における標本複雑性および最適化の難易度を定量的に評価する。
• 具体的な2つの応用（木構造の損失関数を用いた多クラス分類、平均平均精度損失関数を用いた順序付け）を分析する。
• 理論的境界を通じて、近似誤差と計算コストの間のトレードオフを確立する。

実験結果

リサーチクエスチョン

• RQ1 キャリブレーション関数を用いて、凸補間関数の不一致性をどのように定量的に測定できるか？
• RQ2 補間ベース学習における不一致性が、標本複雑性および最適化の難易度に及ぼす影響は何か？
• RQ3 不一致な補間関数は、木構造の損失関数を用いた多クラス分類において、近似精度と計算コストのトレードオフにどのように影響するか？
• RQ4 平均平均精度損失関数を用いた順序付けタスクにおいて、不一致な補間関数は、近似品質と最適化コストの間でどの程度のトレードオフを引き起こすか？
• RQ5 2次補間関数のキャリブレーション関数は、不一致性を特徴付けるために果たす役割は何か？

主な発見

• 提案されたキャリブレーション関数の下界は、不一致な状況下でも非自明であり、不一致性の定量的分析を可能にする。
• 不一致な補間関数ですら、標本複雑性および最適化の難易度に関する意味のある保証を提供する。
• 理論的分析により、木構造の損失関数を用いた多クラス分類において、近似精度と計算効率の間のトレードオフが明らかになった。
• 平均平均精度損失関数を用いた順序付けタスクでは、不一致な補間関数が、近似品質と最適化コストの間の測定可能なトレードオフを引き起こす。
• 本フレームワークは、2つの実世界の学習タスクにおいて、不一致の度合いとその影響を成功裏に定量化した。