[論文レビュー] Ordinal Neural Network Transformation Models: Deep and interpretable regression models for ordinal outcomes.

Lucas Kook, Lisa Herzog+3 more|arXiv (Cornell University)|Oct 16, 2020

Explainable Artificial Intelligence (XAI)参考文献 44被引用数 3

ひとこと要約

ONTRAMs は、画像データおよび表形式データのためのニューラルネットワークと、古典的な順序回帰を組み合わせた深層学習モデルであり、順序付きの結果に対する解釈可能で高精度な回帰を可能にする。画像および表形式入力のための分離されたニューラルネットワークコンポーネントに変換関数を分解することにより、ONTRAMs は最先端の性能を達成するとともに、解釈可能性と学習効率を維持する。

ABSTRACT

Outcomes with a natural order commonly occur in prediction tasks and oftentimes the available input data are a mixture of complex data, like images, and tabular predictors. Deep Learning (DL) methods are state-of-the-art for image classification tasks but frequently treat ordinal outcomes as unordered and lack interpretability. In contrast, classical ordinal regression models consider the outcome's order and yield interpretable predictor effects but are limited to tabular data. We present ordinal neural network transformation models (ONTRAMs), which unite DL with classical ordinal regression methods. ONTRAMs are a special case of transformation models and trade off flexibility and interpretability by additively decomposing the transformation function into terms for image and tabular data using jointly trained neural networks. We discuss how to interpret model components for both tabular and image data. The proposed ONTRAMs achieve on-par performance with common DL models while being directly interpretable and more efficient in training.

研究の動機と目的

• 混合データ設定における順序付き結果のための解釈可能な深層学習モデルの不足に対処すること。
• 深層学習の柔軟性と古典的な順序回帰の解釈可能性の間のギャップを埋めること。
• 順序付き結果の順序構造を保ちながら、画像および表形式予測子の共同学習を可能にすること。
• 標準的な深層学習モデルと同等の学習効率と性能を維持するモデルを開発すること。
• 順序回帰における画像および表形式予測子の両方の成分ごとの効果を解釈可能にすること。

提案手法

• ONTRAMs は、画像および表形式データのための変換関数を加法的コンポーネントに分解する変換モデルの特殊なケースである。
• 画像および表形式データは、それぞれ独立して学習されるが、共同で最適化されるニューラルネットワークを経由して処理され、データ固有の表現が学習される。
• モデルは累積リンク関数を用いて順序付き結果をモデル化し、応答カテゴリーの自然な順序が保持されることを保証する。
• 解釈可能性は、学習された変換コンポーネントにおける個々の入力特徴の寄与度を部分的依存または勾配ベースの手法で分析することで達成される。
• 変換関数は最尤推定により推定され、画像および表形式のブランチ間で最適化を共有する。
• 予測子効果の加法的分解が可能であり、順序付き結果への個々の特徴の寄与度の解釈が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、解釈可能性を保ちつつ、順序付き結果をモデル化するために適応可能か？
• RQ2 画像および表形式データを、性能や解釈可能性を損なわずに順序回帰で共同でモデル化する方法は何か？
• RQ3 ONTRAMs は、標準的な深層学習モデルと同等の性能を順序予測タスクで達成できるか、どの程度の水準か？
• RQ4 ONTRAMs が学習したコンポーネントは、画像および表形式入力の両方の予測子効果を意味的に解釈可能にできるか？
• RQ5 ONTRAMs の学習効率は、標準的な深層学習アーキテクチャと同等か？

主な発見

• ONTRAMs は、混合画像および表形式データを含む順序予測タスクにおいて、標準的な深層学習モデルと同等の性能を達成する。
• モデルは高い学習効率を維持しており、多くの複雑な深層学習ベースラインよりも高速に学習が進行する。
• 変換関数の成分ごとの分析により解釈可能性が保持され、画像および表形式入力の両方の特徴効果の明確な解釈が可能になる。
• 変換関数の加法的分解により、順序付き結果への個々の予測子寄与度の意味的な解釈が可能になる。
• ONTRAMs は、順序付き結果の自然な順序を効果的にモデル化するとともに、画像や表形式特徴といった複雑なデータタイプを処理できる。
• 画像および表形式ニューラルネットワークの共同学習により、モデルの解釈可能性を損なわずに共有表現学習が可能になる。