[論文レビュー] Learning Structure in Nested Logit Models

Youssef M Aboutaleb, Moshe Ben‐Akiva+1 more|arXiv (Cornell University)|Aug 18, 2020

Machine Learning and Algorithms参考文献 33被引用数 4

ひとこと要約

本稿では、混合整数非線形プログラミング（MINLP）を用いて、木構造探索と外挿近似を活用し、ネスト型ログイットモデルにおける最適なネスティング構造をデータ駆動で学習する最適化フレームワークを提案する。この手法は合成データにおいて真の構造を正確に回復でき、実世界の輸送選択データにおいて直感的アプローチに比べて優れた性能を示し、従来の手法よりも精度が高く統計的にも安定したモデルを提供する。

ABSTRACT

This paper introduces a new data-driven methodology for nested logit structure discovery. Nested logit models allow the modeling of positive correlations between the error terms of the utility specifications of the different alternatives in a discrete choice scenario through the specification of a nesting structure. Current nested logit model estimation practices require an a priori specification of a nesting structure by the modeler. In this we work we optimize over all possible specifications of the nested logit model that are consistent with rational utility maximization. We formulate the problem of learning an optimal nesting structure from the data as a mixed integer nonlinear programming (MINLP) optimization problem and solve it using a variant of the linear outer approximation algorithm. We exploit the tree structure of the problem and utilize the latest advances in integer optimization to bring practical tractability to the optimization problem we introduce. We demonstrate the ability of our algorithm to correctly recover the true nesting structure from synthetic data in a Monte Carlo experiment. In an empirical illustration using a stated preference survey on modes of transportation in the U.S. state of Massachusetts, we use our algorithm to obtain an optimal nesting tree representing the correlations between the unobserved effects of the different travel mode choices. We provide our implementation as a customizable and open-source code base written in the Julia programming language.

研究の動機と目的

• ネスト型ログイットモデルにおける最適なネスティング構造の選択に系統的な手法が不足していることに対処すること。通常は主観的または直感的なドメイン知識に依存して選ばれる。
• 効用最大化制約下で、ネスティングツリー構造とモデルパラメータを同時に最適化するデータ駆動型アプローチを開発すること。
• すべての可能なネスティング構造の探索は計算的に非現実的であるため、木構造の性質を活用し、高度な整数最適化技術を用いてこれを克服すること。
• 研究者や実務家が実世界の離散選択データにこの手法を適用できるように、実用的でオープンソースのJulia実装を提供すること。
• データから学習した構造が、実世界の応用において直感的アプローチに比べて優れているかどうかを実証すること。

提案手法

• 有効なネスティングツリー構造の全組み合わせに対して、ネスト型ログイット構造学習問題（NLSLP）を混合整数非線形プログラミング（MINLP）問題として定式化する。
• MINLPを解くために、線形外挿近似アルゴリズムの変種を用い、グローバル最適解への収束を可能にする。
• ネスティングの階層的木構造を活用して問題を分解し、計算効率を高めるために遅延制約生成を適用する。
• 木構造の組み合わせ的複雑性に対処するため、最先端の混合整数最適化ソルバを活用する。
• パラメータ M と L を用いた正則化を導入し、トレーニング中の過剰適合を防ぐためにモデルの複雑さを制御する。
• 合成データにおけるモンテカルロ実験によりアルゴリズムの妥当性を検証し、マサチューセッツ州の移動手段選択に関する提示意思決定アンケートに適用する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型最適化フレームワークは、合成データからネスト型ログイットモデルにおける真のネスティング構造を信頼性高く回復できるか？
• RQ2 実世界の離散選択応用において、データから学習したネスティング構造は、直感的アプローチに基づく構造に比べてどの程度優れているか？
• RQ3 最適なネスティング構造は、モデルにおける体系的効用仕様にどの程度依存するか？
• RQ4 提案されたMINLPベースのアプローチは、実用的な問題サイズにおいても計算的に扱える範囲でスケーリング可能か？
• RQ5 学習された構造は、『アクティブ』または『トランジショナル』な移動手段といった意味のある行動的グループ化を明らかにできるか？

主な発見

• 合成データにおけるモンテカルロ試行100%で、アルゴリズムは真のネスティング構造を正確に回復した。構造同定の高精度を示した。
• マサチューセッツ州の実データ（移動手段選択）において、学習されたモデルは多項ロジットモデルおよび2つの直感的アプローチに基づくネスト型ログイットモデル（モデルAおよびモデルB）よりも顕著に優れたフィットを達成した。
• 最適なネスティングツリーは4つのネストと5段階のネスティングレベルを特定した。最終的な簡略化された構造では、歩行と自転車が「アクティブ」モードとしてグループ化され、より広範な「トランジショナル」モードネストに含まれていた。
• 統計的検定の結果、ネスト n₁ のスケールパラメータ（1.215）はルートノード（正規化値1）と有意差がなく、ルートに統合可能であると判明し、モデルが簡略化された。
• 同様に、ネスト n₃ は n₂ と有意に差がなかったため、n₂ に統合され、最終的なツリー構造がさらに簡略化された。
• 最終モデルは、旅行者が歩行および自転車の移動時間に最も敏感であることを示し、公共交通機関パスやCBDへの移動が、自動車利用よりも公共交通機関または自転車利用の選択確率を顕著に高めることを明らかにした。