[論文レビュー] Multiple Kernel Learning from Noisy Labels by Stochastic Programming

Tianbao Yang, Mehrdad Mahdavi+3 more|arXiv (Cornell University)|Jun 18, 2012

Machine Learning and Data Classification参考文献 16被引用数 23

ひとこと要約

本稿では、ノイズのあるラベルを前提とした複数カーネル学習のための確率的プログラミング枠組みを提案し、誤分類ラベルを耐性的に扱えるようにするためのミニマックス最適化問題に定式化している。この手法は $O(1/T)$ の高速収束率を達成し、UCIデータセットにおいて標準的なカーネル学習手法と比較して、ノイズのあるデータにおいても性能が向上している。

ABSTRACT

We study the problem of multiple kernel learning from noisy labels. This is in contrast to most of the previous studies on multiple kernel learning that mainly focus on developing efficient algorithms and assume perfectly labeled training examples. Directly applying the existing multiple kernel learning algorithms to noisily labeled examples often leads to suboptimal performance due to the incorrect class assignments. We address this challenge by casting multiple kernel learning from noisy labels into a stochastic programming problem, and presenting a minimax formulation. We develop an efficient algorithm for solving the related convex-concave optimization problem with a fast convergence rate of $O(1/T)$ where $T$ is the number of iterations. Empirical studies on UCI data sets verify both the effectiveness of the proposed framework and the efficiency of the proposed optimization algorithm.

研究の動機と目的

• 訓練データが完全に正しくラベル付けされていると仮定する従来の複数カーネル学習手法の制限を解消すること。
• 現実のデータセットにおける誤分類例によって引き起こされる性能の低下を是正すること。
• カーネル学習の過程でラベルノイズを明示的にモデル化する耐性性のある学習枠組みを開発すること。
• ノイズのあるラベル条件のもとで理論的収束保証を伴う効率的な最適化を確保すること。

提案手法

• クラス割り当ての不確実性を反映させるために、ノイズのあるラベルからの複数カーネル学習を確率的プログラミング問題として定式化する。
• 最適なカーネル重みの学習とラベルノイズの耐性性を同時に達成するミニマックス最適化枠組みを導入する。
• ラベルノイズを可能なクラス割り当ての確率分布としてモデル化し、最悪ケースリスクの最小化を可能にする。
• 得られた凸-凹最適化問題を効率的に解くための1次最適化アルゴリズムを設計する。
• 反復回数 $T$ に対して収束率 $O(1/T)$ を達成し、高速な最適化を保証する。
• スチュアティックな部分勾配法を用いて、大規模データセットへのスケーリングを実現しながらも耐性性を維持する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして訓練データのラベルノイズに対して耐性を持つように複数カーネル学習を設計できるか？
• RQ2 ミニマックス定式化は、カーネル学習の過程でラベルノイズの不確実性を効果的にモデル化できるか？
• RQ3 ラベルノイズの存在下でも高速かつ安定した収束を実現する最適化アルゴリズムは何か？
• RQ4 提案された枠組みは、現実のノイズのあるラベル条件において、標準的な複数カーネル学習と比較してどのように異なるか？

主な発見

• 提案された枠組みは、人工的にノイズを導入したUCIベンチマークデータセットにおいて、一般化性能を顕著に向上させた。
• 最適化アルゴリズムは $O(1/T)$ の収束率を達成しており、実際の実装でも高速収束が確認された。
• ミニマックス定式化は、誤分類例がカーネル重みの学習に与える悪影響を効果的に緩和した。
• 実験結果から、ラベルにノイズが存在する状況でも、標準的な複数カーネル学習手法と比較して一貫した性能向上が得られた。