[論文レビュー] Second Order PAC-Bayesian Bounds for the Weighted Majority Vote

Andrés R. Masegosa, Stephan Sloth Lorenzen+2 more|arXiv (Cornell University)|Jul 1, 2020

Machine Learning and Algorithms参考文献 31被引用数 10

ひとこと要約

本稿では、多クラス分類における重み付き多数決投票に対して、ベース分類器間の誤差相関を考慮した2次確率的有界（PAC-Bayesian）境界を提案する。2次モーメント不等式を用いて、確率的分類器のターンアラウンド損失（tandem loss）を制限することで、よりタイトなリスク推定と性能劣化を伴わない重み付けの向上を実現する。実践的では、1次境界を上回る性能を示す。

ABSTRACT

We present a novel analysis of the expected risk of weighted majority vote in multiclass classification. The analysis takes correlation of predictions by ensemble members into account and provides a bound that is amenable to efficient minimization, which yields improved weighting for the majority vote. We also provide a specialized version of our bound for binary classification, which allows to exploit additional unlabeled data for tighter risk estimation. In experiments, we apply the bound to improve weighting of trees in random forests and show that, in contrast to the commonly used first order bound, minimization of the new bound typically does not lead to degradation of the test error of the ensemble.

研究の動機と目的

• 1次PAC-Bayesian境界の限界を是正することを目的とし、誤差相関を無視するため、最小化時に性能劣化を引き起こすことがある。
• 2次モーメント解析を用いて誤差の相関を組み込むことで、重み付き多数決投票のよりタイトなリスク境界を構築すること。
• 過剰に上位の分類器に集中することを回避し、効果的に分類器重みを最適化できる最小化可能な境界を提供すること。
• リスク推定のタイトネスを向上させるために、ラベルなしデータを活用する二値分類への拡張を実施すること。
• 実験的に、第一の境界を最小化する場合と比較して、新しい境界を最小化することでテスト誤差が維持または向上することを検証すること。

提案手法

• 重み付き多数決投票の期待損失に対して、2次モーメント不等式に基づく境界を導出する。この境界は、確率的分類器の期待ターンアラウンド損失と関連づける。
• 2つの独立に抽出された分類器が同時に誤分類する確率として定義されるターンアラウンド損失を用い、誤差の相関を捉える。
• PAC-Bayesian解析を適用し、期待ターンアラウンド損失をその経験的推定値で有界化することで、最小化が可能になる。
• 導出された境界を最小化する最適化手順を提案し、最適な分類器重みを学習する。
• リスク推定のタイトネスを高めるために、ラベルなしデータを活用する二値分類用の特別なバージョンの境界を提案する。
• 2次モーメント不等式によるチェビシェフ＝カンテリ不等式の緩和を用いることで、1次境界よりもタイトな境界を得る。

実験結果

リサーチクエスチョン

• RQ1 誤差相関を考慮した2次PAC-Bayesian境界は、多クラス分類における重み付き多数決投票のリスク推定を改善できるか？
• RQ2 提案された2次境界を最小化することで、1次境界を最小化する場合と比較して一般化性能が向上するか？
• RQ3 新しい境界は効率的に最小化可能であり、ランダムフォレストのような実世界のアンサンブル手法に適用可能か？
• RQ4 二値分類バージョンにおいてラベルなしデータを組み込むことで、境界のタイトネスと性能にどのような影響を与えるか？
• RQ5 提案手法は、1次PAC-Bayesian境界を最小化する際に通常見られる性能劣化を回避できるか？

主な発見

• 第一の境界とは異なり、提案された2次境界を最小化してもランダムフォレストにおけるテスト誤差が劣化しない。
• 複数のUCIデータセットを用いた実験的評価により、実際のところ、2次境界は1次境界よりもタイトであることが示された。
• データセット全体の平均では、新しい境界で最適化されたアンサンブルのテスト誤差は、ベースラインと同等またはそれ以下であり、劣化は観察されなかった。
• 二値分類用に特化した境界は、ラベルなしデータを活用することでリスク推定を向上させ、境界のタイトネスを高めた。
• 実験では、ターンアラウンド損失に基づく境界が、特に分類器間の誤差相関が高い場合に、1次境界を一貫して上回る一般化性能を示した。
• 本手法は、上位の分類器に過剰に集中することを回避し、アンサンブルの多様性を維持するとともに、耐性を高めた。