[論文レビュー] Methods and Models for Interpretable Linear Classification

Berk Ustun, Cynthia Rudin|arXiv (Cornell University)|May 16, 2014

Neural Networks and Applications参考文献 103被引用数 29

ひとこと要約

本稿は、離散係数を備えた正確で解釈可能な線形分類モデルを構築するための整数プログラミングフレームワークを導入する。0–1分類損失の完全最適化とカスタマイズ可能な解釈性制約を可能にし、スコアリングシステムやM-of-Nルールテーブルのような高度にカスタマイズされたモデルを生成する。最先端の精度を達成するとともに、透明性と分野特化のカスタマイズを保証する。

ABSTRACT

We present an integer programming framework to build accurate and interpretable discrete linear classification models. Unlike existing approaches, our framework is designed to provide practitioners with the control and flexibility they need to tailor accurate and interpretable models for a domain of choice. To this end, our framework can produce models that are fully optimized for accuracy, by minimizing the 0--1 classification loss, and that address multiple aspects of interpretability, by incorporating a range of discrete constraints and penalty functions. We use our framework to produce models that are difficult to create with existing methods, such as scoring systems and M-of-N rule tables. In addition, we propose specially designed optimization methods to improve the scalability of our framework through decomposition and data reduction. We show that discrete linear classifiers can attain the training accuracy of any other linear classifier, and provide an Occam's Razor type argument as to why the use of small discrete coefficients can provide better generalization. We demonstrate the performance and flexibility of our framework through numerical experiments and a case study in which we construct a highly tailored clinical tool for sleep apnea diagnosis.

研究の動機と目的

• 既存の解釈可能な機械学習手法が近似や代理指標に依存するため、制御性と柔軟性に欠けるという問題に対処する。
• 実務者が、0–1損失による精度と離散制約による解釈性の両面で完全に最適化されたモデルを構築できるようにする。
• 臨床スコアリングシステムやルールベースモデルなど、分野特化のモデルカスタマイズを支援するフレームワークを開発する。
• 分解とデータ削減技術を用いて、高次元設定における整数プログラミングのスケーラビリティ制限を克服する。
• 離散係数を備えた線形分類器が、他のあらゆる線形分類器と同等の精度を達成できる一方で、小さな整数係数による一般化性能の向上を促進することを示す。

提案手法

• 0–1分類損失を最小化するように混合整数計画問題（MIP）として分類問題を定式化し、代理損失関数を一切用いずに正確な最適化を実現する。
• スパarsity、単調性、整数係数などの解釈性特徴を強制するため、離散制約およびペナルティ関数（例：係数がバイナリの場合のL1正則化によるL0正則化）を組み込む。
• スケーラビリティを向上させるために、データ削減および分解技術を用いる。
• 閾値を用いて実数値およびカテゴリカル特徴をバイナリルールに変換し、M-of-Nルールテーブルによるルールベースモデリングを可能にする。
• アクティブなルール数と陽性予測に必要な最小ルール数を最適化することで、M-of-Nルールテーブルを構築する。
• 個人化された解釈性ペナルティを適用して係数値を制御し、整数係数のみ、または単調性など分野特化の知識を強制する。

実験結果

リサーチクエスチョン

• RQ1 整数プログラミングフレームワークは、代理損失関数に依存せずに、高精度かつ完全に解釈可能な線形分類器を生成できるか？
• RQ2 単純さとスパarsityを特徴とする小さな離散係数を備えた離散線形モデルは、連続モデルと比較してどの程度一般化性能が優れているのか？
• RQ3 離散制約およびペナルティ関数を用いて、線形モデルにおける解釈性を体系的かつカスタマイズ可能に制御できるか？
• RQ4 フレームワークは、0–1損失の正確な最適化を維持しながら、実世界のデータセットに効率的にスケーリングできるか？
• RQ5 フレームワークは、従来の手法では困難な、M-of-Nルールテーブルのような新しい高解釈性モデルタイプを生成できるか？

主な発見

• 提案されたフレームワークは、他のあらゆる線形分類器と同等の訓練精度を達成する離散線形分類器を生成する。これは、離散モデルが本質的に精度が低いわけではないことを証明する。
• 小さな離散係数（例：±1、0）の使用は、一般化性能の向上に寄与し、モデルの単純さを支持するオッシャムの剃刀的議論を裏付ける。
• 本フレームワークによって生成されたM-of-Nルールテーブルは、8つのルールと閾値3を用いて、breastcancerデータセットで平均10分割交差検証テスト誤差4.8±2.5%を達成した。
• フレームワークは、完全な解釈性と分野特化の制約を備えた、ケーススタディを通じて睡眠時無呼吸症の診断に向けた高度にカスタマイズされた臨床ツールの構築を可能にした。
• 正確な0–1損失と離散制約を用いることで、ロジスティック損失やL1正則化を用いる手法に内在する近似誤差を回避した。
• データ削減および分解技術の適用により、フレームワークのスケーラビリティが顕著に向上し、中～大規模なデータセットにおける実用的導入が可能になった。