[論文レビュー] Dimension Reduction Using Rule Ensemble Machine Learning Methods: A Numerical Study of Three Ensemble Methods

Orianna DeMasi, Juan Meza+1 more|arXiv (Cornell University)|Aug 30, 2011

Machine Learning and Data Classification参考文献 24被引用数 3

ひとこと要約

本論文は、決定木と罰則付き回帰を組み合わせることで、解釈可能でスパースなモデルを構築するルールアンサンブル機械学習手法を提案する。この手法は特徴量の重要度を順位付けし、次元削減を実現する。二値分類および多値分類問題、特に超新星画像データセットへの応用において、特徴量を39個から21個に削減しながら高い予測精度を維持した。バギングやブースティングの標準的手法に比べ、解釈可能性と特徴量選択の面で優れた性能を示した。

ABSTRACT

Ensemble methods for supervised machine learning have become popular due to their ability to accurately predict class labels with groups of simple, lightweight "base learners." While ensembles offer computationally efficient models that have good predictive capability they tend to be large and offer little insight into the patterns or structure in a dataset. We consider an ensemble technique that returns a model of ranked rules. The model accurately predicts class labels and has the advantage of indicating which parameter constraints are most useful for predicting those labels. An example of the rule ensemble method successfully ranking rules and selecting attributes is given with a dataset containing images of potential supernovas where the number of necessary features is reduced from 39 to 21. We also compare the rule ensemble method on a set of multi-class problems with boosting and bagging, which are two well known ensemble techniques that use decision trees as base learners, but do not have a rule ranking scheme.

研究の動機と目的

• アンサンブルモデルを順位付けされたルール集合に変換することで、予測精度とモデルの解釈可能性を両立する機械学習手法の開発。
• バギングやブースティングといった伝統的なアンサンブル手法が複雑で透徹のないモデルを生成するため、特徴量重要度のインサイトが欠如している問題に対処する。
• より広範な適用性を実現するため、ワン・バイズ・アラウンズ戦略を用いてルールアンサンブル手法を多値分類に拡張する。
• 性能と安定性の向上を図るため、ルールアンサンブルフレームワーク内での係数解法の異なる手法を評価する。
• 超新星画像分類を含む実世界の科学的データセットにおける手法の有効性を実証し、高次元特徴空間の次元削減を実現する。

提案手法

• 決定木からルールを生成し、各ルールは特徴空間内のハイパーキューブを示すインジケータ関数で定義される。
• ルールは罰則付き回帰（例：ラッソに類似した最適化）を用いて組み合わせられ、予測能が最も高いルールのみを選択するスパースモデルが作られる。
• 目的関数は、訓練データ上でラムプ損失関数を最小化するとともに、過学習を防ぎ、スパarsityを強制するための罰則を適用する。
• アルゴリズムは座標降下法を用い、損失関数の負の勾配に基づいて係数を段階的に更新する高速勾配更新戦略を採用する。
• 2段階の勾配更新メカニズムを採用：ルールインジケータが変化しない場合は安価な更新を行い、係数更新に伴いインジケータが反転した場合は完全な再計算を行う。
• 多値分類問題にはワン・バイズ・アラウンズ分類戦略を用い、各クラスごとに別個のルールアンサンブルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ルールアンサンブル手法は、予測精度を維持または向上させつつ、高次元データセットにおける次元削減を効果的に実現できるか？
• RQ2 バギングやブースティングの標準的手法と比較して、ルールアンサンブル手法の予測性能と特徴量選択能力はどのように異なるか？
• RQ3 異なる係数解法アルゴリズムの影響は、得られるルールモデルの安定性と解釈可能性にどのような影響を与えるか？
• RQ4 複雑な科学的データセット、例えば天文学的画像解析から得られるものにおいて、ルールアンサンブルはどの程度、関連性の高い特徴量を特定し、順位付けできるか？
• RQ5 ルールアンサンブルフレームワークは、性能劣化を最小限に抑えて多値分類問題に成功裏に拡張できるか？

主な発見

• 超新星画像分類データセットにおいて、ルールアンサンブル手法は関連する特徴量の数を39個から21個に有意に削減し、精度を損なわずモデルを大幅に単純化した。
• UCI機械学習リポジトリの複数のベンチマークデータセットにおいても高い予測精度を達成し、多様な問題タイプにわたる頑健性を示した。
• ルールアンサンブルフレームワーク内での罰則付き回帰により、不要なルールの自動 pruning が可能となり、スパースで解釈可能なモデルに、特徴量重要度の順位付けが可能になった。
• バギングやブースティングの標準的手法に比べ、ルールアンサンブルは解釈性に優れ、クラスラベルの予測に最も寄与する特徴量制約を明示的に順位付けしていた。
• 高速勾配更新アルゴリズムにより、ルールベースモデルの複雑さを考慮しても、効率的な最適化が可能となり、大規模データセットへのスケーラビリティを実現した。
• ワン・バイズ・アラウンズの拡張により、複数のクラスにわたっても、ルールベースモデルの解釈可能性とスパarsityを維持した効果的な多値分類が可能になった。