[論文レビュー] Multiple kernel multivariate performance learning using cutting plane algorithm

Jingbin Wang, Haoxiang Wang+2 more|arXiv (Cornell University)|Aug 25, 2015

Advanced Computing and Algorithms参考文献 46被引用数 15

ひとこと要約

本稿では、AUC、F1、MCCなどの非線形で滑らかでない多変量性能指標を最大化するために、分類器パラメータとカーネル重みを同時に最適化する、新しい複数カーネル学習フレームワークを提案する。統一された目的関数を定式化し、反復的カットティングプレーン法により最適化することで、複数のベンチマークデータセットおよび実世界の応用（音声評価やパターン分類を含む）において、最先端の手法を上回る性能を達成した。

ABSTRACT

In this paper, we propose a multi-kernel classifier learning algorithm to optimize a given nonlinear and nonsmoonth multivariate classifier performance measure. Moreover, to solve the problem of kernel function selection and kernel parameter tuning, we proposed to construct an optimal kernel by weighted linear combination of some candidate kernels. The learning of the classifier parameter and the kernel weight are unified in a single objective function considering to minimize the upper boundary of the given multivariate performance measure. The objective function is optimized with regard to classifier parameter and kernel weight alternately in an iterative algorithm by using cutting plane algorithm. The developed algorithm is evaluated on two different pattern classification methods with regard to various multivariate performance measure optimization problems. The experiment results show the proposed algorithm outperforms the competing methods.

研究の動機と目的

• 非線形多変量性能指標最適化における最適なカーネル関数およびパラメータの選択という課題に対処すること。
• 分類器パラメータとカーネル重みの学習を統合的に1つの最適化フレームワークに統合し、性能を向上させること。
• カーネル選択に敏感で、パラメータチューニング時に過学習を起こしやすい単一カーネル手法の限界を克服すること。
• AUC や F1 などの性能指標に内在する非線形性と滑らかでない性質に対処できるスケーラブルで効率的なアルゴリズムを開発すること。
• 生体医療および音声解析を含む多様なパターン分類問題において、提案手法の有効性を示すこと。

提案手法

• 与えられた多変量性能指標の上界を最小化する統一された目的関数を定式化し、同時に分類器パラメータとカーネル重みを学習する。
• 最適なカーネルを複数の候補カーネル関数の重み付き線形結合として表現することで、複数カーネル学習（MKL）を実現する。
• カットティングプレーン法を用いて、反復的に分類器パラメータとカーネル重みの更新を交互に繰り返すことで目的関数を最適化する。
• カーネルトリックを適用してデータを高次元特徴空間にマップすることで、非線形な決定境界を実現しつつ、性能指標の構造を保持する。
• 滑らかでない性能指標の性質にもかかわらず、凸性と収束保証を維持する階層的最適化戦略を採用する。
• 非微分可能で非凸な多変量性能指標の成分を効率的に処理するために、カットティングプレーン法を統合する。

実験結果

リサーチクエスチョン

• RQ1 統一された最適化フレームワークにより、多変量性能指標を最大化する最適な分類器パラメータとカーネル重みを同時に学習できるか？
• RQ2 AUC、F1、MCC およびその他の複雑な性能指標最適化において、CAPO や FSPO、NDLO といった最先端手法と比較して、提案手法はどのように性能を発揮するか？
• RQ3 非線形分類タスクにおいて、単一カーネル手法に比べて複数カーネル学習がどれほど性能向上に寄与するか？
• RQ4 反復的カットティングプレーン法は、多変量性能指標の滑らかでない性質と非凸性を効果的に処理できるか？
• RQ5 提案手法は、音声評価や生体医療分野のパターン認識を含む多様な実世界応用に一般化可能か？

主な発見

• ベンチマークデータセットにおける全評価性能指標において、MKLPO は CAPO、FSPO、NDLO を顕著に上回り、図1のボックスプロットから明らかである。
• リハビリテーション用音声治療評価タスクでは、MKLPO が中央値MCC 0.900 を上回り、すべてのベースラインを上回った。
• AUC および PR-BEP においても、10分割交差検証の結果、MKLPO は中央値および四分位範囲の両面で最良の性能を示した。
• 特にMCC や F1 といった複雑で非線形な性能指標を最適化する際、本手法は頑健性と優れた一般化性能を示した。
• カットティングプレーンに基づく反復的最適化は、微分可能近似を必要とせず、滑らかでない多変量指標の性質を効果的に処理し、収束した。
• 複数カーネルの統合により、カーネルトリックを用いた単一カーネル手法でさえも、より良いカーネル空間の探索が可能となり、性能向上が達成された。