[論文レビュー] Representing Random Utility Choice Models with Neural Networks

Ali Aouad, Antoine Désir|arXiv (Cornell University)|Jul 26, 2022

Economic and Environmental Valuation被引用数 8

ひとこと要約

この論文は、効用関数のサンプル平均近似（SAA）を用いて、ランダム効用最大化（RUM）離散選択モデルを近似するニューラルネットワークアーキテクチャ、RUMnetsを紹介する。RUMnetsは、すべてのRUMモデルをきわめて精密に近似可能であり、実データセットにおいて競争力ある予測精度を達成するとともに、未観測データへの一般化性能が高く、モデルフリー手法に比べてスケーラビリティと解釈可能性で優れる。

ABSTRACT

Motivated by the successes of deep learning, we propose a class of neural network-based discrete choice models, called RUMnets, inspired by the random utility maximization (RUM) framework. This model formulates the agents' random utility function using a sample average approximation. We show that RUMnets sharply approximate the class of RUM discrete choice models: any model derived from random utility maximization has choice probabilities that can be approximated arbitrarily closely by a RUMnet. Reciprocally, any RUMnet is consistent with the RUM principle. We derive an upper bound on the generalization error of RUMnets fitted on choice data, and gain theoretical insights on their ability to predict choices on new, unseen data depending on critical parameters of the dataset and architecture. By leveraging open-source libraries for neural networks, we find that RUMnets are competitive against several choice modeling and machine learning methods in terms of predictive accuracy on two real-world datasets.

研究の動機と目的

• ランダム効用最大化（RUM）の理論的構造を保ったニューラルネットワークベースの離散選択モデルの開発。
• ディープラーニングフレームワークおよびオープンソースライブラリを用いたRUMモデルの効率的推定の実現。
• 選択データに基づいて訓練されたRUMnetsにおける一般化誤差に関する理論的保証の確立。
• 高次元入力および大規模な製品集合下において、RUMnetsがモデルフリー機械学習手法に比べて予測精度とスケーラビリティで優れていることを示すこと。

提案手法

• RUMnetsは、潜在的効用のサンプル平均近似（SAA）を用いてランダム効用関数をモデル化し、ニューラルネットワークがデータから複雑な非線形効用構造を学習可能にする。
• アーキテクチャは、その選択確率が任意のRUM離散選択モデルを任意の精度で近似可能であり、逆に任意のRUMnet選択確率分布もRUM原理と整合的であるように設計されており、RUMクラス内での理論的普遍性を保証する。
• 標準的なディープラーニング最適化ツールを活用して、自動微分および誤差逆伝播を用いた最尤推定によりモデルを訓練する。
• 一般化誤差の理論的上限を導出しており、データセットおよびアーキテクチャのパラメータに依存するが、SAAサンプル数に依存しないことを示している。
• 解釈可能性および代替パターンの可視化を目的として、顧客特徴にクラスタリング（例：K-means）を適用し、代表的顧客タイプを定義する。
• 実験的評価では、実世界のデータセット（例：スイスメトロ）を用い、MNL、潜在的クラスMNL、ランダムフォレスト、ディープニューラルネットワークと比較し、分類ベースの設定で評価を行う。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークアーキテクチャは、任意の精度ですべてのRUM離散選択モデルを近似可能か？
• RQ2 RUMnetsの一般化誤差は、データセットサイズ、製品集合のサイズ、ネットワークの深さにどのように依存するか？
• RQ3 高次元選択データにおいて、RUMnetsはモデルフリー機械学習手法に比べてより優れた一般化性能と解釈可能性を維持できるか？
• RQ4 RUMnetsは、価格感受性など、現実的な代替パターン（例：価格感受性、移行行動）を効果的に捉えることができるか？
• RQ5 予測精度と頑健性の観点から、RUMnetsは従来のパラメトリックモデルおよびエンドツーエンドのディープラーニング分類器に比べて優れているか？

主な発見

• RUMnetsは任意のRUM離散選択モデルを任意の精度で近似可能であり、逆に任意のRUMnet選択確率分布もRUM原理と整合的である。
• RUMnetsの一般化誤差は有界であり、SAAサンプル数の増加に伴って増大しないことが示され、さまざまなサンプリング複雑度下でも安定した学習を示している。
• スイスメトロデータセットにおいて、RUMnetsは製品数（P）が増加しても真のモデルに近い予測性能を達成するが、ランダムフォレストは性能を著しく低下させ、ランダムな推測に近づく。
• RUMnetsは入力次元および製品集合のサイズが増加しても一貫した性能を維持するが、ランダムフォレストなどのモデルフリー手法は高次元入力下で一般化に失敗する。
• RUMnetの予測結果の可視化により、価格感受性やモード切り替えといった現実的で解釈可能な代替パターンが、異なる顧客タイプにわたり明確に捉えられる。これに対してランダムフォレストは、価格変化に対する非直感的で単調でない反応を示すことがある。
• RUMnetアーキテクチャは、比較的少ないサンプル数で効果的なSAA近似を実現できることから、大規模応用における計算効率とスケーラビリティの可能性を示している。