[論文レビュー] Composite Marginal Likelihood Methods for Random Utility Models

Zhibing Zhao, Lirong Xia|arXiv (Cornell University)|Jun 4, 2018

Efficiency Analysis Using DEA被引用数 7

ひとこと要約

本稿は、Plackett-Luceモデルを含むランダムユーティリティモデル（RUMs）の学習のための、新たなランクブレイキング・トゥ・コンpositeマージナリィクレランス（RBCML）フレームワークを提案する。厳密な対数凸性、一貫性、漸近正規性の理論的条件を確立し、連結で対称な重みベクトルが一貫性のある推定を保証することを示し、実験により最先端手法に比して統計的・計算的効率が向上することを示している。

ABSTRACT

We propose a novel and flexible rank-breaking-then-composite-marginal-likelihood (RBCML) framework for learning random utility models (RUMs), which include the Plackett-Luce model. We characterize conditions for the objective function of RBCML to be strictly log-concave by proving that strict log-concavity is preserved under convolution and marginalization. We characterize necessary and sufficient conditions for RBCML to satisfy consistency and asymptotic normality. Experiments on synthetic data show that RBCML for Gaussian RUMs achieves better statistical efficiency and computational efficiency than the state-of-the-art algorithm and our RBCML for the Plackett-Luce model provides flexible tradeoffs between running time and statistical efficiency.

研究の動機と目的

• 一般のランダムユーティリティモデル（RUMs）における尤度ベース推定の計算非効率性（閉形式尤度の欠如による）を解決すること。
• コンポジットマージナル尤度（CML）手法を用いた、RUMsの学習のための柔軟で効率的なフレームワークの開発。
• 提案されたRBCMLフレームワークの統計的妥当性を保証する理論的条件（対数凸性、一貫性、漸近正規性）を同定すること。
• 計算速度と統計的効率のバランスを取るための、効果的なランクブレイキンググラフおよびCML重みベクトルの設計指針を提供すること。
• 合成データ上でフレームワークを実証的に検証し、既存のアルゴリズムに比して効率性と正確性の両面で優れた性能を示すこと。

提案手法

• 重み付き無向グラフ $\mathcal{G}$ を用いて全順位をペアワイズ比較に変換することで、効率的な尤度近似を可能にする、ランクブレイキング・トゥ・コンポジットマージナル尤度（RBCML）フレームワークを提案。
• コンポジット尤度関数 $\text{CLL}_{\mathcal{M}}(\vec{\theta}, P) = \sum_{i_1 \neq i_2} \kappa_{i_1i_2} w_{i_1i_2} \ln p_{i_1i_2}(\vec{\theta})$ を定義。ここで $\kappa_{i_1i_2}$ は $a_{i_1} \succ a_{i_2}$ の経験的頻度、$p_{i_1i_2}(\vec{\theta})$ はモデルが予測する確率である。
• 2つのユーザー定義可能な要素（重み付きランクブレイキンググラフ $\mathcal{G}$ およびCML重みベクトル $\mathcal{W}$）を用いた柔軟な設計空間を導入。これらは、速度と正確性のトレードオフに合わせて調整可能である。
• コンボリューションおよびマージナル化の下で、コンポジット尤度の厳密な対数凸性が保たれることを証明。これにより推定における一意のグローバル最大値が保証される。
• 当該フレームワークにおいて、$\mathcal{W}$ が連結で対称であり、かつ $\mathcal{G}$ がPlackett-Luceモデルの位置-$k$ ブレイキングの重み付き和であるとき、一貫性および漸近正規性が成立することを確立。
• RUMのユーティリティ分布が対称である場合、一様ブレイキンググラフ $\mathcal{G}_{\text{u}}$ および一様重み $\mathcal{W}_{\text{u}}$ を用いることで、最適な理論的性質が保証されることを示した。

実験結果

リサーチクエスチョン

• RQ1 RBCML目的関数が厳密に対数凸性を満たす条件は何か？ これにより一意のグローバル最適解が保証される。
• RQ2 RBCML推定量が一貫性および漸近正規性を満たす条件は何か？ これにより信頼できる統計的推論が可能となる。
• RQ3 ランクブレイキンググラフ $\mathcal{G}$ およびCML重みベクトル $\mathcal{W}$ がどのような構造的性質を有する場合、Plackett-Luceモデルに対して一貫性が保証されるか？
• RQ4 RBCMLフレームワークは、計算効率と統計的効率の間の柔軟なトレードオフを実現するために、どのように設計できるか？
• RQ5 Plackett-Luceモデルを超える一般のRUMsにRBCMLを適用した場合、どのような理論的保証を提供できるか？

主な発見

• ガウス型RUMでは、$\mathcal{G}_{\text{u}}$ および $\mathcal{W}_{\text{u}}$ を用いたRBCMLは、Azari Soufianiら（2014）のGMMアルゴリズムに比して、統計的および計算的効率が向上する。
• Plackett-LuceモデルにおけるRBCMLフレームワークは、調整可能な $\mathcal{G}$ および $\mathcal{W}$ を通じて、実行時間と統計的効率の間の柔軟なトレードオフを実現可能であり、データ制約に応じた設計選択を可能にする。
• コンボリューションおよびマージナル化の下で、コンポジット尤度の厳密な対数凸性が保たれることの証明は、独立した理論的関心を有する結果である。
• Plackett-LuceモデルにおけるRBCMLの一貫性は、$\mathcal{G}$ が位置-$k$ ブレイキングの重み付き和であり、かつ $\mathcal{W}$ が連結で対称であるときにかつそのときにのみ成立する。
• ユーティリティ分布が対称であるRUMでは、一貫性が成立するのは、$\mathcal{G}$ が一様であり、かつ $\mathcal{W}$ が連結で対称であるときにかつそのときにのみ成立する。
• 重みベクトル $\mathcal{W}$ が連結で対称であるとき、コンポジット対数尤度の厳密な凹性により、真のパラメータベクトルは推定方程式 $\nabla \text{ELL}_{\mathcal{M}}(\vec{\theta}) = \vec{0}$ の一意の解となる。