[論文レビュー] Real-valued All-Dimensions search: Low-overhead rapid searching over subsets of attributes

Andrew Moore, Jeff Schneider|arXiv (Cornell University)|Dec 12, 2012

Data Mining Algorithms and Applications参考文献 17被引用数 8

ひとこと要約

本稿では、実数値データにおける属性部分集合に対する効率的で最適な探索を可能にする、新しいアルゴリズムRADSEARCHを紹介する。この手法により、高次相互作用の迅速な同定が可能となる。計算コストを低く抑えながらもグローバル最適性を達成し、回帰およびパターンマイニングタスクにおける顕著な属性組み合わせの検出において、CN2、PRIM、APriori、OPUS、DenseMinerよりも優れた性能を示す。

ABSTRACT

This paper is about searching the combinatorial space of contingency tables during the inner loop of a nonlinear statistical optimization. Examples of this operation in various data analytic communities include searching for nonlinear combinations of attributes that contribute significantly to a regression (Statistics), searching for items to include in a decision list (machine learning) and association rule hunting (Data Mining). This paper investigates a new, efficient approach to this class of problems, called RADSEARCH (Real-valued All-Dimensions-tree Search). RADSEARCH finds the global optimum, and this gives us the opportunity to empirically evaluate the question: apart from algorithmic elegance what does this attention to optimality buy us? We compare RADSEARCH with other recent successful search algorithms such as CN2, PRIM, APriori, OPUS and DenseMiner. Finally, we introduce RADREG, a new regression algorithm for learning real-valued outputs based on RADSEARCHing for high-order interactions.

研究の動機と目的

• 非線形統計最適化の過程で連続表の組み合わせ空間を効率的に探索する課題に対処すること。
• 属性部分集合探索におけるグローバル最適解を求める手法を開発し、最適性の実用的利点を厳密に評価すること。
• データマイニングおよび機械学習における属性の顕著な非線形組み合わせの同定における効率性と有効性を向上させること。
• RADSEARCHを基盤とする新しい回帰アルゴリズムRADREGを導入し、高次相互作用の検出によって実数値出力を学習すること。
• 実世界のデータ分析タスクにおいて、CN2、PRIM、APriori、OPUS、DenseMinerといった既存のアルゴリズムとRADSEARCHを実証的に比較すること。

提案手法

• RADSEARCHは、実数値データにおける属性部分集合を体系的に探索するための木構造（All-Dimensions-tree）を採用している。
• 統計的有意性と境界推定に基づくプルーニング技術を用いることで、最適性を損なわずに探索空間を削減する。
• 動的計画法と分枝限定法の戦略を統合し、属性の組み合わせの品質を効率的に計算・比較する。
• 回帰結果への相互作用の寄与度を捉えるスコア関数を用いて、部分集合を評価する。
• インクリメンタルな更新をサポートし、反復的最適化ループにおける計算コストを低く抑える設計になっている。
• RADREGはRADSEARCHの最適部分集合探索を活用し、実数値回帰タスクにおける複雑な非線形関係の学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 実数値データにおいて、計算コストを低く抑えながらも属性部分集合のグローバル最適探索を達成できるか？
• RQ2 ヒューリスティックな代替手法と比較して、属性部分集合探索におけるグローバル最適性がもたらす実用的利点は何か？
• RQ3 CN2、PRIM、APriori、OPUS、DenseMinerといった既存のアルゴリズムと比較して、RADSEARCHの性能と正確性はいかがなっているか？
• RQ4 最適な相互作用検出が、高次元の実数値データセットにおける回帰モデリングをどの程度改善できるか？
• RQ5 最適部分集合探索を回帰フレームワーク（RADREG）に統合することで、既存手法よりも優れた予測性能が得られるか？

主な発見

• RADSEARCHは、計算コストを低く抑えながらも属性部分集合探索でグローバル最適性を達成し、反復的最適化における実用的利用を可能にした。
• 実証的評価により、RADSEARCHはCN2、PRIM、APriori、OPUS、DenseMinerよりも顕著な非線形属性相互作用の検出において優れた性能を示した。
• 研究では、グローバル最適性がヒューリスティック手法と比較して検出精度と一貫性の面で測定可能な向上をもたらすことを示した。
• RADSEARCHを基盤とする回帰アルゴリズムRADREGは、高次相互作用を活用することで、実数値出力の予測性能を向上させた。
• 中程度の次元数のデータセットに対してもスケーリングが効果的に可能であり、巨大な組み合わせ空間を探索する際でも効率性を維持した。
• RADSEARCHのプルーニング機構は、解の品質を損なわずに探索時間を顕著に短縮した。これは、実世界応用に向けた設計の妥当性を裏付けた。