[論文レビュー] Dynamic Data-Driven Estimation of Non-Parametric Choice Models

Nam Ho-Nguyen, Fatma Kılınç-Karzan|arXiv (Cornell University)|Feb 19, 2017

Economic and Environmental Valuation参考文献 29被引用数 3

ひとこと要約

本稿では、原双対オンライン学習アプローチを用いて、非パrametric選択モデル推定のための動的で凸最適化に基づくフレームワークを提案する。収束性と明示的なスパarsity保証が保証される。非滑らかで双対ミラー降下（MD）アルゴリズムを導入し、静的および動的設定の両方で、よりスパースで正確なモデルを、より速く得ることに成功した。

ABSTRACT

We study non-parametric estimation of choice models, which were introduced to alleviate unreasonable assumptions in traditional parametric models, and are prevalent in several application areas. Existing literature focuses only on the static observational setting where all of the observations are given upfront, they are not equipped with explicit convergence rate guarantees, and consequently they cannot provide an a priori analysis for the model accuracy vs sparsity trade-off on the actual estimated model returned by their algorithms. As opposed to this, we focus on estimating a non-parametric choice model from observational data in a \emph{dynamic} setting, where observations are obtained over time. We show that choice model estimation can be cast as a convex-concave saddle-point (SP) joint estimation and optimization (JEO) problem, and we provide a primal-dual framework for deriving algorithms to solve this based on online convex optimization. By tailoring our framework carefully to the choice model estimation problem, we obtain tractable algorithms with provable convergence guarantees and explicit bounds on the sparsity of the estimated model. Our numerical experiments confirm the effectiveness of the algorithms derived from our framework.

研究の動機と目的

• 静的非パrametric選択モデル推定における収束速度保証および事前スパarsity-精度トレードオフ分析の欠如に対処する。
• データが逐次的に到着する動的推定フレームワークを構築し、リアルタイムでのモデル更新と適応性を可能にする。
• 選択モデリングにおける統合的推定と最適化をモデル化するための統一された凸-凹サドルポイント定式化を提供する。
• 収束性とスパarsityの明示的バインディングを備えた一次順位アルゴリズムを導出。これにより、先行の列生成法およびFrank-Wolfe法の限界を克服する。
• 推定モデルにおける順位数（サポートサイズ）の理論的バインディングを提供することで、モデルの精度とスパarsityの事前分析を可能にする。

提案手法

• 非パrametric選択モデル推定を、モデル推定と最適化を統合する凸-凹サドルポイント（SP）問題として定式化する。
• オンライン凸最適化（OCO）の原則を適用し、新規データが到着するたびにモデルを段階的に更新する原双対アルゴリズムを導出する。
• 既知の問題固有定数（ΩY, G）を活用し、定数ステップサイズを用いた非滑らかで双対ミラー降下（MD）アルゴリズムを設計し、収束保証を実現する。
• 非滑らかノルムを扱うために滑らか化技術を導入し、滑らか化済みおよびFrank-Wolfeバージョンと比較可能な状態を実現する。
• 各反復で最も違反が大きい制約（すなわち、最も情報量の多い順位）を特定するためのサブプロブレムオракルを用い、モデルのスパarsityを保証する。
• 収束速度およびスパarsityに関する理論的バインディングを確立し、反復回数が直接的にモデルのサポートサイズ（スパarsity）を制御することを示す。

実験結果

リサーチクエスチョン

• RQ1 非パrametric選択モデル推定のための動的でオンラインなアルゴリズムは、保証された収束性とスパarsity保証を達成できるか？
• RQ2 提案された非滑らかで双対ミラー降下アルゴリズムは、Frank-Wolfe法および滑らか化ミラー降下法と比較して、収束速度、スパarsity、精度の観点でどのように性能を発揮するか？
• RQ3 反復回数が非パrametric選択モデルにおけるスパarsityの代理としてどの程度有効に機能するか？
• RQ4 提案されたフレームワークにより、推定モデルにおける精度とスパarsityのトレードオフを事前分析可能になるか？
• RQ5 動的設定は、静的バッチ法と比較して、より効率的かつスケーラブルな推定を可能にするか？

主な発見

• 非滑らかで双対ミラー降下（MD_ns）アルゴリズムは、全テスト設定において最もスパースなモデルを達成し、反復回数とソリューション時間も最少であった。
• 平均反復回数とスパarsityの間には強い相関関係が存在し（Spearman相関係数 ≈ 0.922）、反復回数がスパarsityの信頼できる代理指標であることを裏付けた。
• MD_ns法は他の手法と同等のテスト平均絶対誤差（MAE）を維持しながら、顕著に優れたスパarsityと高速な収束性を達成した。
• トレーニングサブセット数（m）を増加させると、テストMAEは低下するが、スパarsityと反復回数は増加する。これは、データの豊かさとモデルの複雑さの間の期待されるトレードオフを確認した。
• 非滑らかMDアルゴリズムは、より多くのパrameterチューニングを要するものの、Frank-Wolfeナーブおよび滑らか化MD法と比較して、全体のソリューション時間とスパarsityの両面で優れた性能を発揮した。
• 収束性とスパarsityに関する理論的バインディングは、反復回数に明示的に関連しており、モデルの複雑さと精度を事前制御可能であることを示した。