[論文レビュー] Error-Correcting Tournaments

Alina Beygelzimer, John Langford+1 more|arXiv (Cornell University)|Feb 18, 2009

Imbalanced Data Classification Techniques参考文献 13被引用数 13

ひとこと要約

この論文は、誤り訂正トーナメントを導入し、最大定数割合の二値比較が敵対的に誤った場合でも、最適な O(log k) の計算量と O(1) のレグルトを達成する、多クラス分類から二値分類への新しい還元手法を提示する。この手法は、k 個のラベルに対して同時に複数の単一Eliminationトーナメントを実行し、最終ラウンドを重み付きにすることで、耐障害性と一貫性を確保しながら、情報理論的に最適な深さと比較器数を維持する。

ABSTRACT

We present a family of pairwise tournaments reducing $k$-class classification to binary classification. These reductions are provably robust against a constant fraction of binary errors. The results improve on the PECOC construction \cite{SECOC} with an exponential improvement in computation, from $O(k)$ to $O(\log_2 k)$, and the removal of a square root in the regret dependence, matching the best possible computation and regret up to a constant.

研究の動機と目的

• 二値レグルトに平方根依存を回避する一貫性のある多クラスから二値への還元手法の欠如に対処すること。
• 例ごとに O(log k) の計算量を達成する方法を設計し、情報理論的下界に一致させること。
• 二値比較における敵対的誤りの下でも、k 個の選択肢から robust に選択することを可能にすること。
• 複雑な確率的または回帰ベースの二値問題を避けるために、単にペアワイズラベル比較のみを用いる構成を提供すること。
• 定数割合の誤りに対しても、すなわち比較器が能動的に誤報を出す「完全な嘘」設定でさえも、保証された耐障害性を達成すること。

提案手法

• k 個のラベル間で、ペアワイズ比較を用いた log k 個の同時単一Eliminationトーナメントを構築する。
• 最初のフェーズで得られた log k 個の勝者から選ぶために、最終ラウンドとして重み付き単一Eliminationトーナメントを採用する。
• 下位レベルの誤った予測が上位レベルのノードが正しければ誤差が伝播しない、下向きの意思決定を可能にするフィルターツリー機構を採用する。
• 深さ最適化設計を適用し、O(log k) の深さと O(k log k) の総比較器数を確保し、両者とも小さな定数因子を除いて最適である。
• トーナメント階層の異なるレベルにおける誤りの影響を扱う、新しい分析技術を導入し、下位ノードの誤りが上位レベルの意思決定に影響しないことを示す。
• 繰り返し比較を用いた変更された構成を導入し、重要度重み付けをシミュレートすることで、重み付き例をサポートしないモデルとも互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 二値レグルトに平方根依存を回避する、多クラスから二値への一貫性のある還元を設計することは可能か？
• RQ2 二値比較における敵対的誤りに対して耐性を保ちつつ、例ごとに O(log k) の計算量を達成することは可能か？
• RQ3 複雑なまたは確率的二値問題を避けるために、ペアワイズラベル比較のみを用いて、耐障害性のある多クラス予測を達成できるか？
• RQ4 強力な敵対者による比較の定数割合の誤報（「完全な嘘」設定）に対しても、この手法は耐性を示せるか？
• RQ5 耐障害性を持つトーナメントベースの多クラス分類器に必要な最小の深さと比較器数は何か？

主な発見

• 誤り訂正トーナメントは、r を二値レグルトの平均値として、多クラスレグルトが 5.5r で抑えられることを示し、PECOCのような先行手法で見られる平方根依存を排除する。
• この手法は O(k log k) の比較器を用い、深さが O(log k) であり、両者とも小さな定数因子を除いて最適である。
• 構成は「完全な嘘」設定でも耐障害性を示し、敵対的アドバーザリーが比較の定数割合を誤報しても、正しい選択を保証する。
• 下界により、任意の決定的還元は最悪ケースで二値レグルトの少なくとも2倍のレグルトを被る必要があることが示され、境界のタイトさが証明される。
• フィルターツリー機構により、低レベルの比較誤りが上位レベルに伝播せず、階層的誤り訂正を通じて耐障害性が実現される。
• 還元ベースの設計ゆえに、オンラインやベイジアン手法を含む任意の二値学習アルゴリズムと一貫性があり、合成可能である。