[論文レビュー] deepregression: a Flexible Neural Network Framework for Semi-Structured Deep Distributional Regression

David Rügamer, Chris Kolb+12 more|arXiv (Cornell University)|Apr 6, 2021

Model Reduction and Neural Networks被引用数 7

ひとこと要約

この論文は、加法的予測子と深層ニューラルネットワークを組み合わせることで、スケーラブルで解釈可能な全条件付き分布のモデリングを可能にする、半構造的深層分布回帰（SDDR）を実装するRパッケージであるdeepregressionを紹介する。フレームワークはモジュラーなニューラルネットワークアーキテクチャを採用し、同定可能性の問題を解消するための直交化セルを備え、mgcvを参考にした式ベースのインターフェースを提供することで、最先端の予測性能を達成しながらも統計的解釈可能性を維持する。

ABSTRACT

In this paper we describe the implementation of semi-structured deep distributional regression, a flexible framework to learn conditional distributions based on the combination of additive regression models and deep networks. Our implementation encompasses (1) a modular neural network building system based on the deep learning library \pkg{TensorFlow} for the fusion of various statistical and deep learning approaches, (2) an orthogonalization cell to allow for an interpretable combination of different subnetworks, as well as (3) pre-processing steps necessary to set up such models. The software package allows to define models in a user-friendly manner via a formula interface that is inspired by classical statistical model frameworks such as \pkg{mgcv}. The packages' modular design and functionality provides a unique resource for both scalable estimation of complex statistical models and the combination of approaches from deep learning and statistics. This allows for state-of-the-art predictive performance while simultaneously retaining the indispensable interpretability of classical statistical models.

研究の動機と目的

• 古典的平均回帰の不均等分散性や複雑な分布的依存関係を捉える限界を解消すること。
• 深層学習の予測力と加法的モデルの解釈可能性を組み合わせたスケーラブルなフレームワークを開発すること。
• パラメトリック、半パラメトリック、ノンパラメトリックアプローチを用いて、平均以外の全条件付き分布のモデリングを可能にすること。
• 加法的および深層ネットワーク予測子の重複する特徴から生じる同定可能性の問題を、直交化セルによって解消すること。
• 統計的および深層学習のコンponentsを統合できる、使いやすく、式ベースのインターフェースを提供するRでの柔軟なモデル指定を可能にすること。

提案手法

• 分布的パrameter（例：位置、スケール、形状）を、線形、スムーズ、および深層ニューラルネットワークコンポーネントの組み合わせによる加法的予測子としてモデル化する。
• 各加法的予測子ηₖは、次のように定義される：ηₖ = xᵀw + Σⱼ fₖ,ⱼ(z) + Σₗ dₖ,ₗ(u)，ここでxは線形特徴、zはスムーズ特徴、uは深層ニューラルネットワークの入力である。
• 重複する特徴をサブネットワーク間で分離するため、直交化セルが用いられ、個々のモデルコンポーネントの同定可能性と解釈可能性が保証される。
• Keras/TensorFlowをバックエンドとして使用し、共有または別々の重みを持つモジュラーかつ合成可能なニューラルネットワークアーキテクチャを構築する。
• データ変換、特徴量スケーリング、モデルフィッティングを処理するための前処理パイプラインを統合し、ペナルティ付きスプラインや基底関数展開のサポートを含む。
• 最後の層の推論は、深層ネットワークの直前層から潜在特徴を抽出し、mgcvを再フィッティングすることで可能となり、非線形効果の不確実性を定量化できる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを、解釈可能性を保ちつつスケーラブルな分布回帰を可能にする構造的加法的モデルに統合することは可能か？
• RQ2 線形、スムーズ、および深層ネットワークコンポーネント間で重複する特徴をどのように分離し、モデルの同定可能性を保証できるか？
• RQ3 提案されたフレームワークは、古典的な分布モデルと比較して予測性能をどの程度向上させるか？ なお、解釈可能性は維持されているか？
• RQ4 深層ニューラルネットワークが加法的予測子の一部として使用される場合、非線形効果の不確実性を信頼性高く定量化できるか？
• RQ5 式ベースのインターフェースは、複雑な分布的モデルの柔軟で再現可能かつユーザーフレンドリーな指定にどの程度効果的か？

主な発見

• deepregressionパッケージは、加法的モデルと深層ネットワークのハイブリッドを用いて、全条件付き分布モデリングを実現する半構造的深層分布回帰を効果的に実装した。
• 直交化セルは、サブネットワーク間の重複する特徴から生じる同定可能性の問題を効果的に解消し、効果の解釈可能な分解を可能にした。
• フレームワークは広範なパラメトリック分布をサポートし、連続的、離散的、混合的、多変量の応答変数のモデリングを可能にした。
• 抽出された潜在特徴に対してmgcvによる再フィッティングにより得られる最後の層の推論は、非線形効果の信頼区間を有効に提供するが、固定された深層ネットワーク重みのため分散の過小評価の可能性がある。
• モジュラー設計と式インターフェースにより、単一のR環境で複雑な統計的および深層学習の組み合わせの迅速なプロトタイピングと再現可能なモデリングが可能になった。
• ケーススタディによる実証では、エアビーアンでの価格予測および生存解析の両方において、最先端の予測性能を達成しながらも、古典的統計モデルの解釈可能性を維持していることが示された。