[論文レビュー] Box Drawings for Learning with Imbalanced Data

Siong Thye Goh, Cynthia Rudin|arXiv (Cornell University)|Mar 13, 2014

Imbalanced Data Classification Techniques参考文献 15被引用数 5

ひとこと要約

本稿では、極度に不均衡な分類問題に対して、解釈可能である2つの機械学習手法—Exact BoxesとFast Boxes—を提案する。正例の周囲に軸に平行な長方形（ボックス）の論理和を用い、Exact Boxesは混合整数プログラミング（MIP）を用いて正則化を組み込んだ重み付き正答率を最適化する。一方、Fast Boxesはスケーラビリティを実現するための「特徴抽出から識別へ」という2段階のアプローチを採用し、高バランス比でも単純で人間が理解可能なルールを生成しながら、競争力のある性能を達成する。

ABSTRACT

The vast majority of real world classification problems are imbalanced, meaning there are far fewer data from the class of interest (the positive class) than from other classes. We propose two machine learning algorithms to handle highly imbalanced classification problems. The classifiers constructed by both methods are created as unions of parallel axis rectangles around the positive examples, and thus have the benefit of being interpretable. The first algorithm uses mixed integer programming to optimize a weighted balance between positive and negative class accuracies. Regularization is introduced to improve generalization performance. The second method uses an approximation in order to assist with scalability. Specifically, it follows a extit{characterize then discriminate} approach, where the positive class is characterized first by boxes, and then each box boundary becomes a separate discriminative classifier. This method has the computational advantages that it can be easily parallelized, and considers only the relevant regions of feature space.

研究の動機と目的

• 現実世界の極度に不均衡なデータセットにおいて、解釈可能な分類モデルを開発すること。
• クラスの不均衡により標準的な分類器が多数クラスを予測してしまうという失敗を是正すること。
• 正例の周囲に軸に平行な長方形（ボックス）の和を用いることで、精度と解釈可能性の両立を図ること。
• 正確な最適化の代替として、2段階の「特徴抽出から識別へ」というアプローチによるスケーラブルな代替手法を提供すること。
• 固定されたボックス数をもつボックス描画分類器の理論的一般化バウンドを確立し、混合整数プログラミング定式化の実用性を向上させること。

提案手法

• Exact Boxesは、混合整数プログラミング（MIP）を用い、正例と負例の正答率を重み付き目的関数で同時に最適化し、正則化を組み込むことで、少ない数で大きなボックスを優遇する。
• MIP定式化では、各ボックスを特徴の境界の論理積として扱い、全体の分類器はこれらのボックスの論理和として定式化され、解釈可能性が保証される。
• Fast Boxesは2段階のアプローチを採用する：まず、クラスタリングを用いて正例クラスを特徴抽出し、境界ボックスを定義する。次に、各クラスタに対して独立に識別境界を学習する。
• Fast Boxesにおける各識別境界は、閉形式の解析的解で計算され、勾配降下法や決定木のようなグリーディ手法と比較して、計算コストを低減し、並列処理が可能になる。
• この手法は、正例クラスタの周囲の局所領域に限定して学習を行うため、各分類器が考慮するデータポイント数を顕著に削減する。
• 一般化バウンドは、ホフディングの不等式と和集合の不等式を用い、可能なボックス構成の数を数えることで、一様リスクバウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 解釈可能なボックス描画分類器は、極度に不均衡なデータセットにおいて、最先端の手法と同等の性能を達成できるか？
• RQ2 Fast Boxesにおける「特徴抽出から識別へ」というアプローチは、スケーラビリティと並列処理を維持しながら高い精度を維持できるか？
• RQ3 Exact Boxesにおける正則化は、小〜中規模のデータセットにおいて一般化性能を向上させ、過学習を防ぐか？
• RQ4 固定されたボックス数をもつボックス描画分類器の理論的一般化性能保証は何か？
• RQ5 クラスタリングや近隣ベースのウォームスタートを用いることで、MIPベースの最適化をより大きなデータセットでも実用的に行えるか？

主な発見

• データの不均衡度が高くなるほど、ボックス描画分類器の有効性が増し、標準的手法が失敗するようなデータでも優れた性能を示す。
• Fast Boxesは解釈可能性の制約があるにもかかわらず、比較的手法の中でもトップクラスの性能を達成しており、単純さが性能を損なわないことを示している。
• Exact Boxesは計算コストが高いために実用的ではないが、ゴールドスタンダードとしての役割を果たし、同じデータセットで常にFast Boxesを上回る性能を示しており、正確な最適化の価値を裏付けている。
• 理論的一致性バウンドは、K個までのボックスをもつすべてのボックス描画分類器に一様に成立し、モデル性能に対する確率的信頼性を提供する。
• Fast Boxesは局所的かつ解析的な境界計算と並列処理により、極めてスケーラブルであり、高不均衡な大規模データセットに対しても適している。
• モデルの解釈性は、自然なしきい値ルール（例：「マグネシウムインデックス > 3.33」）により向上し、分野の専門家が容易に理解できる。