[論文レビュー] A rank-based selection with cardinal payoffs and a cost of choice

Krzysztof Szajowski|arXiv (Cornell University)|Dec 18, 2008

Optimization and Search Problems参考文献 19被引用数 10

ひとこと要約

本稿は、アイテムの実際の価値に基づく順序付き報酬と意思決定の個人的コストを導入することで、古典的な秘書問題を拡張している。これは、選択における現実世界の迷いをモデル化するものである。埋め込まれたマルコフ連鎖を用いた後退的帰納法により、最適停止時刻がアイテムの真の価値と意思決定コストの両方に依存する最適しきい値戦略が導かれる。漸近的解析により、Nが大きくなる極限において最適しきい値が対数方程式の解に収束することが示されている。

ABSTRACT

A version of the secretary problem is considered. The ranks of items, whose values are independent, identically distributed random variables $X_1,X_2,...,X_n$ from a uniform distribution on $[0; 1]$, are observed sequentially by the grader. He has to select exactly one item, when it appears, and receives a payoff which is a function of the unobserved realization of random variable assigned to the item diminished by some cost. The methods of analysis are based on the existence of an embedded Markov chain and use the technique of backward induction. The result is a generalization of the selection model considered by Bearden(2006). The asymptotic behaviour of the solution is also investigated.

研究の動機と目的

• 順序付き選択問題において、順位ではなく実際のアイテム価値に依存する報酬をモデル化すること。
• 意思決定のための個人的コストを組み込み、早期選択へのためらいや恐怖を反映すること。
• Bearden (2006) の順序付き報酬モデルを一般化し、最適停止しきい値に影響を与えるコストを追加すること。
• アイテム数Nが無限大に近づく際の最適戦略および期待報酬の漸近的挙動を分析すること。

提案手法

• 相対順位と観測値の状態空間上に埋め込まれたマルコフ連鎖を持つマルコフ意思決定過程として選択問題を定式化する。
• 最終期間から逆算して最適停止時刻を計算する後退的帰納法を適用する。
• 1ステップ先のルールを用いて最適方策を決定し、現在の報酬が継続価値を上回るかどうかに応じて停止するか否かを判断する。
• 最適しきい値$k_0^*$の正確な解と漸近的解を導出し、$k_0^*$がコスト$c$と$N$に依存することを示す。$N \to \infty$のとき、$k_0^*/N \to \alpha$となる。
• $(0,1)$における$\/log(x) = (1 + \frac{1}{2c})(x - 1)$の唯一の解として$\alpha$を求める。これにより漸近的しきい値が特徴づけられる。
• 2つの変種を検討する：コストがすべての段階に適用される場合と、最終段階でのみコストが適用されない場合。これにより異なるしきい値方程式が得られる。

実験結果

リサーチクエスチョン

• RQ1 個人的な意思決定コストを導入することで、順位に基づく選択問題における最適停止則はどのように変化するか？
• RQ2 アイテム数$N$が非常に大きくなる際、最適しきい値$k_0^*$の漸近的挙動はいかなるものか？
• RQ3 意思決定コスト$c$が増加するにつれて期待報酬はどのように変化し、その極限値は何か？
• RQ4 コストがすべての段階に適用される場合と、初期段階のみに適用され最終段階では適用されない場合とで、最適戦略の違いは何か？
• RQ5 最適戦略はしきい値ルールとして特徴づけられるか？ もしそうならば、そのしきい値は$c$と$N$にどのように依存するか？

主な発見

• 最適戦略はしきい値ルールである：最初の$k_0^*-1$個のアイテムをスキップし、$k_0^*$以降で最初に順位1（現在までで最も良いもの）のアイテムに出会ったら停止する。もしそのようなアイテムが見つからなければ、$N$で停止する。
• $c > 0$のとき、漸近的しきい値$k_0^*/N \to \alpha$となり、$\/alpha$は$(0,1)$における方程式$\log(x) = (1 + \frac{1}{2c})(x - 1)$の唯一の解である。
• 漸近的期待報酬は$1 - c - (c + \frac{1}{2})\alpha - \frac{c\alpha}{1 - \alpha}\log(\alpha)$に収束し、$c > 0$では1未満となる。これはコストの影響を反映している。
• 最終段階でのコストが発生しない場合、漸近的しきい値はより大きくなり、$\alpha$は$\log(x) = \frac{1}{2c}(x - 1)$を満たす。これにより$k_0^*$が大きくなり、同じ$c$に対して期待報酬は低くなる。
• 数値結果により、$N=100$のとき、コストがすべての段階に適用される場合、$c=0$では最適しきい値が10、$c=0.2$では14に増加する。一方、最終段階でのみコストを除外する場合、最適しきい値は22にまで上昇する。
• モデルは、意思決定コストが最適停止を著しく遅らせることが示され、現実世界の迷いを反映している。また、順序選択におけるリスク回避的行動を定量的にモデル化するフレームワークを提供する。