[論文レビュー] The Pessimistic Limits of Margin-based Losses in Semi-supervised Learning.

Jesse H. Krijthe, Marco Loog|arXiv (Cornell University)|Dec 28, 2016

Machine Learning and Data Classification参考文献 5被引用数 1

ひとこと要約

この論文は、線形分類器における凸で単調減少なマージンに基づく代替損失関数について、ラベル付きおよびラベルなしデータの両方で同じ損失関数を測定した場合、半教師あり手法が教師あり学習を上回る改善を保証できないことを示している。一方、単調増加する凸マージンに基づく損失関数では、理論的に安全な改善が可能であることが示され、このような損失関数の半教師あり設定における有用性に根本的な限界が示された。

ABSTRACT

Consider a classification problem where we have both labeled and unlabeled data available. We show that for linear classifiers defined by convex margin-based surrogate losses that are decreasing, it is impossible to construct any semi-supervised approach that is able to guarantee an improvement over the supervised classifier measured by this surrogate loss on the labeled and unlabeled data. For convex margin-based loss functions that also increase, we demonstrate safe improvements are possible.

研究の動機と目的

• 凸マージンに基づく代替損失関数を用いた半教師あり学習における理論的限界を調査すること。
• このような損失関数を用いた場合に、半教師あり学習が一般化性能を教師あり学習を上回ることを証明可能かどうかを特定すること。
• 損失関数の単調性（増加または減少）に基づいて損失関数を分類し、安全な半教師あり改善の可能性を評価すること。
• 半教師あり手法が教師ありベースラインを上回る性能向上を保証できる条件を確立すること。

提案手法

• 分析は、単調性（減少または増加）を示す凸マージンに基づく代替損失関数で訓練される線形分類器に焦点を当てる。
• 論文は、ラベル付きおよびラベルなしデータの両方で同じ代替損失関数を用いて半教師あり手法の性能を評価する理論的枠組みを定義する。
• 減少するマージンに基づく損失関数の場合、いかなる半教師あり手法でも、ラベル付きおよびラベルなしデータの両方で同じ損失関数を用いた場合、教師あり分類器を上回る改善を保証できないことを証明する。
• 増加するマージンに基づく損失関数の場合、安全な改善が可能である理論的条件を構築する。
• 分析は、一般化境界の文脈における代替損失関数の性質と凸最適化の原則に依拠している。

実験結果

リサーチクエスチョン

• RQ1 凸で単調減少なマージンに基づく代替損失関数を用いた半教師あり学習は、ラベル付きおよびラベルなしデータの両方で同じ損失関数を用いた場合、教師あり学習を上回る改善を保証できるか？
• RQ2 増加するマージンに基づく損失関数を用いた半教師あり手法が、一般化性能の向上を証明可能にできる条件は何か？
• RQ3 線形分類器におけるマージンに基づく損失関数を用いた半教師あり学習において、どのような根本的限界が存在するか？
• RQ4 代替損失関数の単調性が、安全な半教師あり改善の可能性にどのように影響するか？

主な発見

• 凸マージンに基づく代替損失関数が単調減少である場合、ラベル付きおよびラベルなしデータの両方で同じ損失関数を用いた場合、いかなる半教師あり手法でも教師あり分類器を上回る改善を保証できない。
• これに対して、凸マージンに基づく損失関数が単調増加である場合、半教師あり学習によって一般化性能の安全な向上が理論的に可能である。
• 単調減少な損失関数に対する不可能性の結果は、指定された条件下で、すべてのこのような損失関数に普遍的に成立する。
• 理論的枠組みにより明確な二分法が示された：損失関数の単調性が、半教師ありの向上が証明可能かどうかを決定づける。