[論文レビュー] Interpretable Clustering via Optimal Trees

Dimitris Bertsimas, Agni Orfanoudaki+1 more|arXiv (Cornell University)|Dec 3, 2018

Bayesian Modeling and Causal Inference被引用数 21

ひとこと要約

本稿では、解釈可能なクラスタリングを実現するための混合整数最適化ベースの手法であるInterpretable Clustering via Optimal Trees (ICOT) を提案する。ICOT は、事前にクラスタ数を指定せずに、解釈可能なルールベースのクラスタ割り当てを可能にする、非監視学習におけるグローバル最適な意思決定木を構築する。ICOT は、合成データおよび実世界のデータセットにおいて、K-Means や2段階木手法を上回るクラスタ品質を達成するとともに、クラスタ所属の明確で人間が読める意思決定ルールを提供する。

ABSTRACT

State-of-the-art clustering algorithms use heuristics to partition the feature space and provide little insight into the rationale for cluster membership, limiting their interpretability. In healthcare applications, the latter poses a barrier to the adoption of these methods since medical researchers are required to provide detailed explanations of their decisions in order to gain patient trust and limit liability. We present a new unsupervised learning algorithm that leverages Mixed Integer Optimization techniques to generate interpretable tree-based clustering models. Utilizing the flexible framework of Optimal Trees, our method approximates the globally optimal solution leading to high quality partitions of the feature space. Our algorithm, can incorporate various internal validation metrics, naturally determines the optimal number of clusters, and is able to account for mixed numeric and categorical data. It achieves comparable or superior performance on both synthetic and real world datasets when compared to K-Means while offering significantly higher interpretability.

研究の動機と目的

• 標準的なクラスタリング手法における解釈不能性の問題に取り組むこと、特に信頼性と臨床的受容性が求められる医療分野において重要である。
• 解釈可能性をクラスタリングプロセスの一部として統合するクラスタリング手法の開発を目的とすること、後処理としての分析ではなく、プロセス内に統合する。
• ユーザーが事前にクラスタ数を指定する必要をなくし、最適化によって内生的にクラスタ数を決定できるようにすること。
• 数値型およびカテゴリカル型のデータタイプを統合的に扱える、一貫性のある解釈可能なフレームワークを構築すること。
• 標準的な内部評価指標を最適化することで、クラスタの密集度と分離度の両方を向上させ、クラスタ品質を向上させること。

提案手法

• ICOT は、最適分類木（OCT）フレームワークを非監視設定に拡張し、クラスタリングを混合整数最適化問題として定式化する。
• アルゴリズムは座標降下法を用い、段階的に木構造を改善することで、グローバル最適解に近い解を近似的に得つつ、解釈可能性を維持する。
• 複数のグリーディ木を初期化し、局所探索を実行して分割を最適化し、最も高いクラスタ品質スコアを達成する木を選択する。
• 目的関数には、シルエット指標やダン指標といった内部評価指標を組み込み、クラスタ内密度とクラスタ間分離度のバランスを取る。
• 特徴量の分割は元の特徴量に基づくため、クラスタ所属ルールが入力変数の観点から直接解釈可能になる。
• 木構造の最適化によって自然にクラスタ数が決定され、ユーザーが指定する k の値が不要になる。

実験結果

リサーチクエスチョン

• RQ1 後処理分析に依存せずに、高解釈性を保証するグローバル最適な木ベースのクラスタリング手法を開発できるか？
• RQ2 ICOT は、K-Means や2段階木手法（例：K-Means に followed by OCT）と比較して、クラスタ品質および解釈可能性においてどのように異なるか？
• RQ3 ICOT は、非球形または非等方的形状のクラスタ構造をどれくらい正確に回復できるか？
• RQ4 ICOT は、数値型およびカテゴリカル型の特徴量を効果的に扱えるか、かつ解釈可能性と性能を維持できるか？
• RQ5 標準的な内部評価指標を最適化することで、合成データにおける真のラベルの回復よりも意味のあるクラスタ割り当てが得られるか？

主な発見

• シルエット指標では9つのデータセットのうち4つでK-Meansを上回り、ダン指標では9つのうち8つで上回り、優れたもしくは同等のクラスタリング品質を示した。
• エンジタイム（EngyTime）データセットでは最高のシルエットスコア（0.573）を達成し、ヘプタ（Hepta）では最高のダン指数（1.076）を記録した。両者ともにK-MeansおよびOCTを上回った。
• テトラ（Tetra）およびツーダイアモンド（TwoDiamonds）データセットでは、すべての指標で最高のスコアを達成し、対称的で明確に分離されたクラスタに対して堅牢な性能を示した。
• ICOT はすべてのデータセットで2段階OCTアプローチを常に上回り、解釈可能性をクラスタリングプロセスに統合することの利点を裏付けた。
• フレーミングハム・ハート・スタディ（Framingham Heart Study）データセットでは、4つの特徴量のみで7つの臨床的に解釈可能なクラスタを同定し、明確な性別およびHDLベースの分割を示した。
• K-Means とすべての指標で一致しなかったが、ICOT は明確なルールベースのクラスタ定義を提供し、医療分野における応用において顕著な解釈可能性を実現した。