[論文レビュー] Interpretable Models Capable of Handling Systematic Missingness in Imbalanced Classes and Heterogeneous Datasets

Sreejita Ghosh, Elizabeth S. Baranowski+4 more|arXiv (Cornell University)|Jun 4, 2022

Machine Learning in Healthcare被引用数 6

ひとこと要約

本論文は、医療データセットにおける体系的欠損、クラス不均衡、異種データを処理できる解釈可能なプロトタイプベース（PB）モデルの族を導入する。適応的距離尺度と地図的平均化戦略を活用することで、アンサンブル手法に類似した性能を維持しながらも、内在的な解釈可能性を保ち、最先端の手法（ランダムフォレストを含む）と同等または優れた精度を達成する。透明性と知識抽出能力が向上している。

ABSTRACT

Application of interpretable machine learning techniques on medical datasets facilitate early and fast diagnoses, along with getting deeper insight into the data. Furthermore, the transparency of these models increase trust among application domain experts. Medical datasets face common issues such as heterogeneous measurements, imbalanced classes with limited sample size, and missing data, which hinder the straightforward application of machine learning techniques. In this paper we present a family of prototype-based (PB) interpretable models which are capable of handling these issues. The models introduced in this contribution show comparable or superior performance to alternative techniques applicable in such situations. However, unlike ensemble based models, which have to compromise on easy interpretation, the PB models here do not. Moreover we propose a strategy of harnessing the power of ensembles while maintaining the intrinsic interpretability of the PB models, by averaging the model parameter manifolds. All the models were evaluated on a synthetic (publicly available dataset) in addition to detailed analyses of two real-world medical datasets (one publicly available). Results indicated that the models and strategies we introduced addressed the challenges of real-world medical data, while remaining computationally inexpensive and transparent, as well as similar or superior in performance compared to their alternatives.

研究の動機と目的

• 体系的欠損、クラス不均衡、異種測定を特徴とする現実世界の医療データセットに解釈可能な機械学習を適用する課題に対処すること。
• 性能が高く、透明性を維持する内在的解釈可能なモデルを開発し、アンサンブル手法で一般的に見られる精度と説明可能性のトレードオフを回避すること。
• モデルパラメータ多様体の地図的平均化を用いた新たな戦略を導入し、解釈可能性を損なわずにアンサンブルの力を活用すること。
• 合成データおよび2つの現実世界の医療データセット（先天性ステロイドホルモン産生異常症を含む）を用いて、フレームワークの有効性を示すこと。
• 臨床的解釈と知識発見のための、特徴量の寄与度と意思決定境界に関する詳細でデータ駆動型のインサイトを可能にすること。

提案手法

• 異種的および欠損データを処理できるように、適応的距離尺度（コサインベースおよびパラメータ化されたユークリッド距離を含む）を用いた学習ベクトル量子化（LVQ）を用いるプロトタイプベース（PB）学習フレームワークを提案する。
• 曖昧なラベルを含む学習が可能な$LVQ^{A}$バージョンを導入し、分類の不確実性を反映した確率的出力を可能にする。
• 複数のLVQモデルのパラメータ多様体における地図的平均化を適用し、1つの代表的モデルを生成することで、アンサンブル性能を模倣しつつも解釈可能性を維持する。
• 複数の局所最適解を管理するためのクラスタリング戦略を適用し、モデル学習のロバスト性と安定性を向上させる。
• 高次元データおよび意思決定境界の可視化のためのモルワイデ正距図法を用い、特徴量の影響およびクラス分離の直接的な解釈を可能にする。
• 複数の補完法に基づくアプローチおよびLIME や SHAP などの最先端のモデルに依存しない手法と性能を比較し、体系的欠損が存在する状況でも優れたロバスト性を示した。

実験結果

リサーチクエスチョン

• RQ1 プロトタイプベースモデルは、医療データセットにおける体系的欠損と異種測定を処理しつつ、高い解釈可能性とパフォーマンスを維持できるか？
• RQ2 欠損および異種データが存在する状況で、適応的距離尺度（例：コサインベース）の性能は、標準的なユークリッド距離と比べてどのように異なるか？
• RQ3 LVQモデルの地図的平均化は、解釈可能性を失うことなく、ランダムフォレストのような従来のアンサンブルの性能をどの程度再現できるか？
• RQ4 提案されたフレームワークは、先天性ステロイドホルモン産生異常症のような現実世界の医療データから、臨床的に意味のあるインサイトを抽出できるか？
• RQ5 曖昧なラベルと確率的出力を組み込むことで、少数サンプルで不均衡な状況におけるモデルの透明性と信頼性はどのように向上するか？

主な発見

• $LVQ^{A}$モデルは、適応的距離尺度（特にコサインベース）を用いることで、体系的欠損と異種測定が存在する状況で、標準的なユークリッド距離LVQを上回る性能を示した。
• 補完を伴わない角度ベースLVQは、距離ベース分類に悪影響を及える可能性のある複数補完手法と同等または優れた性能を達成した。
• 地図的平均化されたLVQモデルは、100本のツリーを有するランダムフォレストと同等または優れた性能を達成したが、完全な解釈可能性を維持し、直接的な知識抽出が可能であった。
• 先天性ステロイドホルモン産生異常症のデータセットでは、32種類の尿中バイオマーカーの496組の対比比を包括的に分析でき、疾患特異的な代謝パターンが明らかになった。
• モデルは、個々のサンプル、個々のクラス、および全データセット全体における特徴量の寄与度について、直接視認可能なインサイトを提供した。
• 公開済みの現実世界データセットにおいても、再現性のある結果と明確な知識抽出の道筋を示し、競争力のあるパフォーマンスを発揮した。