[論文レビュー] The Pessimistic Limits and Possibilities of Margin-based Losses in Semi-supervised Learning

Jesse H. Krijthe, Marco Loog|arXiv (Cornell University)|Dec 28, 2016

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿は、凸マージンベースのサーミュラティブ損失を用いた半教師付き学習の理論的限界を調査する。減少する凸マージンベースの損失（例：ヒンジ損失）に対しては、ラベルなしデータのすべての可能なラベリングに対して、教師あり学習より性能向上を保証できる半教師付き手法は存在しないことを証明する。一方、増加する損失（例：二乗損失）に対しては、特定の条件下で安全な改善が可能であることが示され、悲観的かつ安全な半教師付き学習の可能性に根本的な二分法が存在することが明らかになる。

ABSTRACT

Consider a classification problem where we have both labeled and unlabeled data available. We show that for linear classifiers defined by convex margin-based surrogate losses that are decreasing, it is impossible to construct any semi-supervised approach that is able to guarantee an improvement over the supervised classifier measured by this surrogate loss on the labeled and unlabeled data. For convex margin-based loss functions that also increase, we demonstrate safe improvements are possible.

研究の動機と目的

• ラベルなしデータのすべての可能なラベリングに対して、教師あり学習より性能が低下しないよう保証できる、半教師付き学習が厳密に安全にできるかどうかを検討すること。
• 凸マージンベースのサーミュラティブ損失が、安全な半教師付き学習の可能性を決定づける役割を分析すること。
• 損失関数がマージンに対して減少するか増加するかに応じて、性能保証に与える影響を評価すること。
• すべての可能なラベルなしデータのラベリングに対して成り立つ、悲観的かつ有限標本の基準としての安全な半教師付き学習の形式化。
• 低密度の分離境界や分布に関する仮定といった、検証不能な条件を避けることで、先行研究の仮定に挑戦すること。

提案手法

• 教師ありおよび半教師付き分類器の両方に同じサーミュラティブ損失を用いる、固定されたラベルありおよびラベルなしデータセット上で性能を測定するトランスダクティブ設定を形式化する。
• 『安全な』半教師付き学習を、ラベルなしデータの任意のラベリングに対しても、教師あり分類器の性能を下回らない方法として定義する。
• 損失関数の単調性（マージンに対して減少するか増加するか）に注目し、凸マージンベースのサーミュラティブ損失を分析する。
• 部分的ラベリングの議論を用いて、減少する損失に対しては、教師あり解から逸脱する任意の半教師付き解が、あるラベリングによって元に戻せることを示し、保証された改善が不可能であることを立証する。
• 増加する損失（例：二乗損失）が、半教師付き目的関数が教師ありのものより厳密に優位になるような条件を導出し、安全な改善が可能であることを示す。
• 教師ありおよび半教師付きモデルの正則化パラメータを同一に固定し、ラベルなしデータの影響を性能に与える要因に限定する。

実験結果

リサーチクエスチョン

• RQ1 悲観的かつ有限標本の基準のもとで、ラベルなしデータのすべての可能なラベリングに対して、半教師付き学習手法が教師あり学習より性能向上を保証できるか？
• RQ2 なぜ減少する凸マージンベースの損失（例：ヒンジ損失）は、根本的に安全な半教師付き改善をサポートできないのか？
• RQ3 増加する凸マージンベースの損失（例：二乗損失）が、どのような条件下で安全な半教師付き改善をサポートできるか？
• RQ4 教師ありおよび半教師付き学習の両方で同じサーミュラティブ損失を使用する場合、性能比較の妥当性にどのような影響を与えるか？
• RQ5 低密度の分離境界や分布に関する仮定といった、先行研究の仮定が、安全な半教師付き学習の保証の一般性をどの程度制限しているか？

主な発見

• マージンに対して減少する凸マージンベースのサーミュラティブ損失に対しては、ラベルなしデータのすべての可能なラベリングに対して、教師あり分類器より性能向上を保証できる半教師付き手法は存在しない。
• その不可能性は、教師あり解から逸脱する任意の半教師付き解が、ラベルなしデータのラベリングによって元の教師ありの目的関数値を回復できるため生じる。
• ある区間でマージンに対して増加する損失（例：二乗損失）に対しては、特定の条件下で安全な改善が可能であり、損失関数の単調性が可能性の鍵要因であることが示された。
• 本研究の結果は、Ben-Davidら（2008）の主張（強い分布仮定がなければ改善は不可能）を反証し、損失が増加する場合には、VC次元が有限であっても安全な改善が可能であることを示している。
• 結果として、サーミュラティブ損失の単調性、特にマージンとともに増加するか減少するかが、悲観的かつ安全な半教師付き学習の理論的可否を決定づけることが明らかになった。
• これらの発見は、多くの標準的手法（例：ヒンジ損失を用いたSVM）がこの意味で厳密に安全にできない一方で、他の手法（例：二乗損失を用いた最小二乗分類器）は同様の基準のもとで実現可能である可能性を示唆している。