[論文レビュー] Exclusivity Regularized Machine

Xiaojie Guo|arXiv (Cornell University)|Mar 28, 2016

Machine Learning and ELM参考文献 19被引用数 10

ひとこと要約

本稿では、予測の重複しない行動を定量化する新しい多様性指標「排他性（exclusivity）」を用いて、トレーニング誤差を最小化するとともに、基本サポートベクターマシン（SVMs）間の多様性を最大化する、Exclusivity Regularized Machine（ERM）と呼ばれる、新しいアンサンブル学習フレームワークを提案する。この手法は、最適化問題を効率的に解くために増幅ラグランジュ乗数（ALM）アルゴリズムを採用し、最先端の代替手法（例：DRM）と比較して最大2000倍高速なトレーニングを達成するとともに、高い精度を実現した。特にL2-ERM10は、複数のデータセットで平均順位2.5を達成した。

ABSTRACT

It has been recognized that the diversity of base learners is of utmost importance to a good ensemble. This paper defines a novel measurement of diversity, termed as exclusivity. With the designed exclusivity, we further propose an ensemble model, namely Exclusivity Regularized Machine (ERM), to jointly suppress the training error of ensemble and enhance the diversity between bases. Moreover, an Augmented Lagrange Multiplier based algorithm is customized to effectively and efficiently seek the optimal solution of ERM. Theoretical analysis on convergence and global optimality of the proposed algorithm, as well as experiments are provided to reveal the efficacy of our method and show its superiority over state-of-the-art alternatives in terms of accuracy and efficiency.

研究の動機と目的

• 一般化性能の向上を図るため、アンサンブル学習における低トレーニング誤差と高多様性のバランスをとるという、重要な課題に取り組む。
• ベースラーナーの予測行動の重複のない性質を定量化できる、理論的に根拠のある新しい多様性指標「排他性」を定義する。
• 実験的誤差とベースSVM間の排他性を同時に最小化する統一された最適化フレームワーク、ERMを構築する。
• 非凸かつ非滑らかな最適化問題を解くために、理論的収束保証付きのグローバル最適解に収束する、ALMに基づく効率的なアルゴリズムを設計する。
• 多様なベンチマークデータセットを用いた実験により、ERMの精度、効率性、耐障害性の優位性を実証する。

提案手法

• ベースラーナー間の多様性を、予測の差のL2ノルムとして定義される、緩和的かつ微分可能な新しい多様性測度「排他性」を導入する。
• 実験的ヒンジ損失の最小化と、C個のベースSVM間での排他性の最大化を同時に最適化する、Exclusivity Regularized Machine（ERM）というアンサンブルモデルを提案する。
• 重み行列Wに対するフロベニウスノルム正則化子を用いて多様性を促進し、排他性はベースモデル間の予測差のL2ノルムとして定義する。
• 非凸かつ非滑らかな最適化問題を解くために、増幅ラグランジュ乗数（ALM）アルゴリズムを採用し、グローバル最適解への収束を理論的に保証する。
• 非滑らかなヒンジ損失関数を含む部分問題を、効率的に解くためにバイナリサーチ戦略を適用し、高速かつ安定した最適化を実現する。
• 純粋なMATLABで実装された本手法は、トレーニングデータサイズに対して線形スケーラビリティを示し、大規模データ処理にも高い効率性を発揮する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルモデルにおけるベースラーナーの非重複予測行動を効果的に捉える理論的根拠を持つ新しい多様性指標「排他性」を定義できるか？
• RQ2 トレーニング誤差と排他性を同時に最適化することで、既存のアンサンブル手法よりも優れた一般化性能が得られるか？
• RQ3 得られる非凸なERM最適化問題を解くために、効率的かつグローバル最適な最適化アルゴリズムを設計できるか？
• RQ4 AdaBoost、Bagging、DRMなどの最先端のアンサンブル手法と比較して、提案されたERMは精度とトレーニング効率の両面で優れているか？
• RQ5 異なるデータ分布やサイズを持つ多様なデータセットにおいて、ERMフレームワークは高い性能を維持するか？

主な発見

• ERMは、8つのベンチマークデータセットの多くでAdaBoost、Bagging、DRMを大きく上回り、平均順位2.5（L2-ERM10）と3.4（L2-ERM10）を達成した。
• L2-ERM10は平均順位2.5を達成し、上位5位以内の平均順位がすべて5.0未満であり、データセット全体にわたる強力で一貫性のある性能を示した。
• ERMのトレーニング時間は極めて短く、30個のコンポonentでは0.14秒未満で、DRM（10コンポーネント）の168.57秒と比較して2000倍の高速化を達成した。
• ALMに基づくアルゴリズムは信頼性高く収束し、理論的にグローバル最適解に到達することが保証されており、安定的かつ最適なモデル学習が可能である。
• L1ノルムによるスパース正則化に対しても高い精度を維持しており、L1-ERM10とL1-ERM30はそれぞれ4位と5位の好成績を収めた。
• 本フレームワークは非常にスケーラブルで効率的であり、トレーニング時間はデータセットサイズに比例して増加するため、大規模応用に適している。