[論文レビュー] Modelling heterogeneous distributions with an Uncountable Mixture of Asymmetric Laplacians

Axel Brando, José A. Rodríguez-Serrano+2 more|arXiv (Cornell University)|Oct 27, 2019

Neural Networks and Applications被引用数 14

ひとこと要約

本稿では、ニューラルネットワークを通じて無限個の非対称ラプラス分布の混合を暗黙的に学習することにより、異種的で歪度があり、かつマルチモーダルな出力分布をモデル化する深層学習フレームワークであるUncountable Mixture of Asymmetric Laplacians (UMAL) を提案する。この手法は、Airbnbの価格設定や金融予測など、複雑な分布を伴う回帰タスクにおいて、従来手法と比較して優れたキャリブレーション性能と尤度性能を達成している。

ABSTRACT

In regression tasks, aleatoric uncertainty is commonly addressed by considering a parametric distribution of the output variable, which is based on strong assumptions such as symmetry, unimodality or by supposing a restricted shape. These assumptions are too limited in scenarios where complex shapes, strong skews or multiple modes are present. In this paper, we propose a generic deep learning framework that learns an Uncountable Mixture of Asymmetric Laplacians (UMAL), which will allow us to estimate heterogeneous distributions of the output variable and shows its connections to quantile regression. Despite having a fixed number of parameters, the model can be interpreted as an infinite mixture of components, which yields a flexible approximation for heterogeneous distributions. Apart from synthetic cases, we apply this model to room price forecasting and to predict financial operations in personal bank accounts. We demonstrate that UMAL produces proper distributions, which allows us to extract richer insights and to sharpen decision-making.

研究の動機と目的

• 対称的で単一モード、またはパラメトリックな出力分布を仮定する従来の回帰モデルの制限を解消すること。
• 標準的な混合密度ネットワーク（MDNs）が複雑で異種的な分布をモデル化する際に示す不安定さと、固定された成分数の制限を克服すること。
• 強いパラメトリックな仮定を必要とせず、マルチモーダルで歪度があり、かつ異種的な出力分布を捉えることができる柔軟な深層学習フレームワークの開発。
• 出力分布が入力条件に応じて顕著に変化する現実世界の回帰タスクにおいて、Aleatoric不確実性推定を改善すること。
• 複雑な分野における意思決定に適した、キャリブレーションが高く、構造的に洗練された予測分布を生成できるかどうかをモデルが示すこと。

提案手法

• 深層ニューラルネットワークを用いて、非対称ラプラス分布（ALD）の無限混合のパラメータを予測し、連続的かつ非可算な混合を効果的にモデル化する。
• 分位数回帰とALD分布との関係を活用し、分位数ベースの不確実性推定を混合フレームワークに一般化する。
• 出力分布における最尤推定を用いてモデルを訓練することで、ネットワーク出力次元を増加させることなく、複雑な形状を柔軟に近似可能にする。
• 推論時にモンテカルロサンプリングを適用し、トレーニングおよび推論の両方で動的なバッチサイズを模倣する多様な予測を生成する。
• 負の対数尤度の最小化と、予測されたキャリブレーションと理想のキャリブレーションの間の平均絶対誤差といった指標を用いて、モデルのキャリブレーションを保証する。
• 予測分布埋め込みにt-SNEとDBSCANクラスタリングを適用し、実世界のデータ（例：バルセロナのAirbnb価格）における空間的および分布的パターンを分析する。

実験結果

リサーチクエスチョン

• RQ1 対称性や単一モード性を仮定しないで、深層学習モデルが複雑で異種的な出力分布を効果的に近似できるか。
• RQ2 提案されたUMALフレームワークは、マルチモーダルで歪度のある分布をモデル化する際、標準的なMDNや分位数回帰と比較してどのように性能を発揮するか。
• RQ3 複雑な出力分布を伴う現実世界の回帰タスクにおいて、UMALはキャリブレーション性能と尤度性能をどの程度向上させるか。
• RQ4 モデルの予測分布は、金融および価格データにおいて意味のある空間的または行動的パターンを明らかにできるか。
• RQ5 暗黙的な無限混合のALDは、有限成分のMDNと比較して、より優れた一般化性能と安定性を提供するか。

主な発見

• BCN RPFデータセットにおいて、UMALはキャリブレーションの平均絶対誤差が 0.04 ± 0.01 と最低水準に達し、10成分MDNや独立した分位数回帰を含むすべてのベースラインを上回った。
• YVC RPFデータセットでは、UMALはキャリブレーション誤差が 0.07 ± 0.01 と2番目に良く、10成分の正規分布およびラプラス分布MDNを著しく上回った。
• モデルは、現実世界のデータにおけるマルチモーダル性や歪度といった複雑な形状を捉える、キャリブレーションが高く、適切な予測分布を生成した。
• UMALの予測分布は、バルセロナのAirbnb価格において空間クラスタリングパターンを明らかにし、DBSCANクラスタリングにより都市内の明確なマーケットセグメントが同定された。
• 合成および現実世界のタスクにおいて、尤度への適応性が優れており、異種出力分布を効果的にモデル化できる能力を確認した。
• モンテカルロサンプリングの活用により、動的な推論行動が可能となり、トレーニングおよび予測の両方でロバスト性が向上した。