[論文レビュー] Learning Optimized Or's of And's

Tong Wang, Cynthia Rudin|arXiv (Cornell University)|Nov 6, 2015

Data Mining Algorithms and Applications参考文献 23被引用数 15

ひとこと要約

本論文は、医療やマーケティング分野における認知的シンプルさに最適な、スパースで解釈可能な論理標準形（DNF）モデル—「論理和の論理積（Or’s of And’s）」—を学習するための最適化ベースのフレームワーク、Optimized Or’s of And’s（OOA）およびその高速版OOAxを提案する。混合整数プログラミングと統計的近似を用いることで、最小限のルールで高い精度を達成し、グリーディなアルゴリズムを上回り、ブラックボックスモデルと同等またはそれを上回る解釈可能性と性能をUCIデータセットで示した。

ABSTRACT

Or's of And's (OA) models are comprised of a small number of disjunctions of conjunctions, also called disjunctive normal form. An example of an OA model is as follows: If ($x_1 = $ `blue' AND $x_2=$ `middle') OR ($x_1 = $ `yellow'), then predict $Y=1$, else predict $Y=0$. Or's of And's models have the advantage of being interpretable to human experts, since they are a set of conditions that concisely capture the characteristics of a specific subset of data. We present two optimization-based machine learning frameworks for constructing OA models, Optimized OA (OOA) and its faster version, Optimized OA with Approximations (OOAx). We prove theoretical bounds on the properties of patterns in an OA model. We build OA models as a diagnostic screening tool for obstructive sleep apnea, that achieves high accuracy with a substantial gain in interpretability over other methods.

研究の動機と目的

• 医療スクリーニングやマーケティング意思決定ルールのような実世界の応用に適した、解釈性が高くスパースな「論理和の論理積（OA）」モデルを生成する機械学習フレームワークを開発すること。
• 計算速度を重視するあまり、精度とスパース性を犠牲にするグリーディなルール学習アルゴリズムの限界を克服すること。
• ヒューリスティックなルール誘導の代わりに、最適性を保証する数学的に厳密な最適化ベースの代替手法を提供すること。
• 人間の専門家が解釈・適用可能な、正確かつ認知的にシンプルなOAモデルの構築を可能にすること。
• OAモデルがUCIデータセットで競争力のある性能を発揮しながらも、高いスパース性と解釈可能性を維持できることを示すこと。

提案手法

• 重み付き目的関数を用いて、トレーニング誤差、論理項の数、パターン数を同時に最小化する混合整数計画問題（MIP）を定式化する。
• OOAxでは二段階アプローチを採用する：まず高サポートのパターンを事前に抽出し、その後に整数線形計画問題（ILP）を用いて最適なサブセットを選択することで、計算時間を顕著に短縮する。
• 事前抽出の際に最適解を除外しないよう保証するための、パターンサポートに関する理論的境界を導入する。これにより、十分なサポート閾値を満たせば正しさが保証される。
• パターンの満たし状態を示すインジケータ変数を導入し、全体の分類器を論理和の論理積としてモデル化することで、正確な最適化を可能にする。
• 事前処理を必要とせず、数値変数とカテゴリカル変数の両方を直接MIP定式化に組み込むことで、混合タイプのデータを扱える。
• MIP/ILPフレームワークを用いることで、ドメイン固有の制約をアルゴリズムの再設計なしに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 最適化ベースのフレームワークは、高精度かつ最大限に解釈可能な「論理和の論理積（Or’s of And’s）」モデルを生成できるか？
• RQ2 最適なDNF式の学習における計算コストを、解法の品質を損なわずに低減する方法は何か？
• RQ3 事前抽出が最適解を逃がさないよう保証するためのパターンサポートに関する理論的保証は何か？
• RQ4 実世界のデータセットにおいて、OAモデルはグリーディなルール誘導法やブラックボックスモデルと比べて、性能と解釈可能性の両面で優れているか？
• RQ5 ドメイン固有の解釈可能性を高めるために、学習プロセスにカスタム制約をどの程度統合できるか？

主な発見

• 4つの純粋なカテゴリカル変数を含むUCIデータセット（tic-tac-toe, monks, vowel, breast-cancer）において、OAモデルは100％の精度を達成し、正確な論理ルールを回復できることを示した。
• 心臓病や輸血データセットのような数値変数および混合タイプのデータセットにおいて、OAモデルは競争力のある精度を示し、それぞれ平均出-sample精度が0.86および0.80を記録した。他の解釈可能なモデルを上回った。
• OOAxフレームワークは、計算時間の大幅な短縮により、ほぼ最適な性能を達成し、大規模応用に実用的であることを示した。
• バンコーノートデータセットでは、OAモデルが1つのパターンで100％の精度を達成し、最小限の複雑さで重要な意思決定境界を捉える能力を示した。
• 従来のルール誘導手法（例：CMAR, CPAR）が数100のルールを生成するのに対し、本手法ははるかにスパースで解釈性の高い代替手段を提供した。
• MIP/ILPフレームワークのカスタマイズ性により、ドメイン固有の制約を統合可能であり、ヒューリスティック手法に比べて顕著な利点を有する。