[論文レビュー] Deep interpretable ensembles

Lucas Kook, Andrea Götschi+3 more|arXiv (Cornell University)|May 25, 2022

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

この論文は、深層変換モデルからの確率的予測を統合しながらも、それらの内在的解釈可能性を保ち続ける、新しい手法「変換アンサンブル」を導入する。モデルのパラメータと累積分布関数（CDF）を構造的に平均化することにより、古典的な深層アンサンブルと同等の予測性能を達成し、特定の条件下でミニマックス最適性を保証するとともに、アンビエント的不確実性とエピステム的不確実性の両方を直接的に定量化可能となる。

ABSTRACT

Ensembles improve prediction performance and allow uncertainty quantification by aggregating predictions from multiple models. In deep ensembling, the individual models are usually black box neural networks, or recently, partially interpretable semi-structured deep transformation models. However, interpretability of the ensemble members is generally lost upon aggregation. This is a crucial drawback of deep ensembles in high-stake decision fields, in which interpretable models are desired. We propose a novel transformation ensemble which aggregates probabilistic predictions with the guarantee to preserve interpretability and yield uniformly better predictions than the ensemble members on average. Transformation ensembles are tailored towards interpretable deep transformation models but are applicable to a wider range of probabilistic neural networks. In experiments on several publicly available data sets, we demonstrate that transformation ensembles perform on par with classical deep ensembles in terms of prediction performance, discrimination, and calibration. In addition, we demonstrate how transformation ensembles quantify both aleatoric and epistemic uncertainty, and produce minimax optimal predictions under certain conditions.

研究の動機と目的

• 古典的な深層アンサンブルの重大な限界である解釈可能性の喪失を是正するため、個々のモデルの内在的解釈可能性を維持する手法の開発を目的とする。
• モデルの透明性や構造を損なわず、アンサンブル統合によって予測性能を向上させることを目的とする。
• モデルのパラメータを直接解釈可能な形で、アレアトリック不確実性とエピステム的不確実性の両方を直接的に定量化可能な手法を提供することを目的とする。
• アンサンブルによる性能向上が、モデルの柔軟性の増加に起因するのではなく、ブラックボックス型アンサンブルの必要性に関する仮定に疑問を呈することを目的とする。
• 医療分野などハイリスク分野において、理論的裏付けがあり透明性のある古典的深層アンサンブルの代替手段を提供することを目的とする。

提案手法

• 変換アンサンブルは、複数の深層変換モデルから得られる予測累積分布関数（CDF）を、それらのCDFの重み付き平均を用いて統合する。
• この手法は、線形予測子係数（例：対数オッズ比やハザード比）をアンサンブルメンバー間で平均化することで、深層変換モデルの加法的かつ解釈可能な構造を保持する。
• アンサンブルの重みは、適切なスコアルールを最小化するように、ホールドアウトセット上で最適化される。
• このアプローチは適切なスコアルールに基づいており、アンサンブルが平均的にメンバーを常に上回る性能を示すことを保証する。
• 平均化されたモデルパラメータの直接解釈が可能であるため、アンサンブルは解釈可能性を維持する。例えば、表形式特徴量の係数や学習された画像表現が直接解釈可能となる。
• この手法は、パラメータ空間（係数の分散を介して）および関数空間（CDFのばらつきを介して）におけるエピステム的不確実性の推定を可能にし、不確実性定量化を支援する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル手法は、個々の深層変換モデルの内在的解釈可能性を保ちながら、予測性能を向上させることができるか？
• RQ2 構造的にCDFとモデルパラメータを平均化することは、個々のアンサンブルメンバーよりも一貫して優れた予測をもたらすか？
• RQ3 変換アンサンブルは、透明で解釈可能な形で、アレアトリック不確実性とエピステム的不確実性の両方を定量化できるか？
• RQ4 古典的な深層アンサンブルの性能向上は、モデルの柔軟性の増加に起因するのか、それとも、解釈可能性を損なわずとも同様の結果を達成できる構造的アンサンブルが可能か？
• RQ5 どのような条件下で、変換アンサンブルは予測に関してミニマックス最適となるか？

主な発見

• 変換アンサンブルは、メラノーマやUTKFaceを含む3つの公開データセットにおいて、識別力とキャリブレーションの観点で、古典的な深層アンサンブルと同等の予測性能を達成した。
• アンサンブルは、適切なスコアルールの観点で、平均的にそのメンバーを常に上回ることを確認した。これは、理論的保証である性能向上が実際に成立していることを裏付けた。
• この手法により、モデルパラメータの直接解釈が可能であり、例えばメラノーマデータセットにおける性別の係数が画像データの組み込みによって符号を変えることにより、パラメータ平均化による解釈可能性の高さが明確に示された。
• 変換アンサンブルは、アレアトリック不確実性とエピステム的不確実性の両方を定量化可能であり、エピステム的不確実性は、加法的線形予測子における係数の分散を介して推定される。
• 表形式特徴量に加えて画像特徴量を組み込むことで、3つのデータセットのうち2つでキャリブレーションが向上した。これは、マルチモーダルモデリングが臨床予測の信頼性を高めることを示唆している。
• ある条件下では、変換アンサンブルは二値出力に関してミニマックス最適であることが示され、理論的保証が解釈可能なモデルにまで拡張された。