[論文レビュー] Iterated risk measures for risk-sensitive Markov decision processes with discounted cost

Takayuki Osogami|arXiv (Cornell University)|Feb 14, 2012

Probability and Risk Models被引用数 5

ひとこと要約

本稿では、割引期待効用の限界を克服するため、割引コストを伴うリスクセンシティブなマルコフ決定過程における反復的リスク測度を導入する。時間的に再帰的にリスク測度を適用することで、時間的一致性のある意思決定を保証し、割引期待効用では表現できない合理的な好みを表現可能にし、不確実性下でのリスクセンシティブな計画における不整合性を解消する。

ABSTRACT

We demonstrate a limitation of discounted expected utility, a standard approach for representing the preference to risk when future cost is discounted. Specifically, we provide an example of the preference of a decision maker that appears to be rational but cannot be represented with any discounted expected utility. A straightforward modification to discounted expected utility leads to inconsistent decision making over time. We will show that an iterated risk measure can represent the preference that cannot be represented by any discounted expected utility and that the decisions based on the iterated risk measure are consistent over time.

研究の動機と目的

• 割引コストを伴うMDPにおける時間的リスク好みを表現するうえで、割引期待効用の限界を特定すること。
• 標準的なリスクセンシティブ効用モデルを時間的に適用した際に生じる意思決定の不整合を解消すること。
• 時間的一致性を保証する新しい枠組み「反復的リスク測度」を提案すること。
• 反復的リスク測度が、どの割引期待効用モデルとも整合しないが合理的な好みを表現できることを示すこと。
• 理論的に妥当かつ計算的に実行可能な、割引コストを伴う不確実性下でのリスクセンシティブな計画のための手法を提供すること。

提案手法

• 本稿では、マルコフ決定過程の各段階においてリスク測度を再帰的に適用する反復的リスク測度を定義する。
• 各意思決定時点において一貫性のあるリスク測度（例：条件付きリスク価値）を適用し、リスク評価を時間的に後退的に伝搬する。
• 同じリスク姿勢を全意思決定段階に維持することで、動的不一致を回避し、時間的一致性を確保する。
• 最終コストにのみリスク好みを組み込むのではなく、コスト蓄積プロセス全体にリスク好みを統合することで、期待効用を一般化する。
• 動的プログラミングの原則を用いて、反復的リスク測度下での最適方策を計算し、取り扱いやすさを保証する。
• 反例を用いて、割引期待効用が合理的な好みを表現できないのに対し、反復的リスク測度はそれを成功裏に表現できることを検証する。

実験結果

リサーチクエスチョン

• RQ1 割引MDPにおけるすべての合理的なリスク好みは、割引期待効用で表現可能か？
• RQ2 標準的な効用モデルを時間的に適用した際、リスクセンシティブな意思決定で時間的不一致が生じる原因は何か？
• RQ3 時間的一致性を保証するために、リスク測度をどのように再帰的に適用すればよいか？
• RQ4 反復的リスク測度で表現可能だが、どの割引期待効用モデルでも表現できない好みのクラスは何か？
• RQ5 反復的リスク測度フレームワークは、計算的に実行可能で実用的に適用可能か？

主な発見

• 割引コストを伴うMDPには、いかなる割引期待効用モデルでも表現できない合理的なリスク好みが存在する。
• 標準的な割引期待効用は、このような好みに適用すると、動的一貫性に反する時間的不一致を引き起こす。
• 反復的リスク測度フレームワークは、割引期待効用とは整合しないが合理的な好みを成功裏に表現でき、時間的一致性を保証する。
• この手法は、期待効用の代替として数学的に妥当かつ計算的に取り扱いやすいリスクセンシティブな計画のための代替手段を提供する。
• フレームワークは、各段階でリスク測度を再帰的に適用することで、意思決定者が時間的に一貫したリスク姿勢を維持できるようにし、動的不一致を解消する。
• 反例を用いて、割引期待効用が失敗する一方で、反復的リスク測度が合理的な行動を的確に捉える有効性が示された。