[논문 리뷰] Approximation of Lorenz-Optimal Solutions in Multiobjective Markov Decision Processes

Patrice Perny, Paul Weng외 2명|arXiv (Cornell University)|2013. 09. 26.

Advanced Multi-Objective Optimization Algorithms참고 문헌 23인용 수 12

한 줄 요약

이 논문은 유한한 수의 보상 함수를 가진 다중목표 마르코프 결정 과정(MOMDPs)에서 무한할린, 할인된 다중목표 마르코프 결정 과정에서 루엔츠-비지배 솔루션을 근사하기 위한 효율적인 방법을 제안한다. 다항식 크기의 부분집합을 사용하여 공정성과 계산 가능성을 균형 잡는다. 이 방법은 파레토 지배를 공정성으로 개선한 루엔츠 지배를 활용하여, 다중 에이전트 또는 다중 기준 보상 트레이드오프에서 불평등을 최소화하는 정책을 식별한다. 이는 근사 품질에 대한 이론적 보장을 제공하며, UAI 2013에서의 실증 검증을 통해 입증된다.

ABSTRACT

This paper is devoted to fair optimization in Multiobjective Markov Decision Processes (MOMDPs). A MOMDP is an extension of the MDP model for planning under uncertainty while trying to optimize several reward functions simultaneously. This applies to multiagent problems when rewards define individual utility functions, or in multicriteria problems when rewards refer to different features. In this setting, we study the determination of policies leading to Lorenz-non-dominated tradeoffs. Lorenz dominance is a refinement of Pareto dominance that was introduced in Social Choice for the measurement of inequalities. In this paper, we introduce methods to efficiently approximate the sets of Lorenz-non-dominated solutions of infinite-horizon, discounted MOMDPs. The approximations are polynomial-sized subsets of those solutions.

연구 동기 및 목표

• 다양한 보상 함수가 개인의 유틸리티 또는 기준을 나타내는 다중목표 마르코프 결정 과정(MOMDPs)에서 공정성을 다루기 위해.
• 불평등을 최소화하는 루엔츠-비지배 보상 트레이드오프를 제공하는 정책을 식별하기 위해.
• 정확한 계산이 불가능한 무한할린, 할인된 MOMDPs에서 계산 효율적인 근사 방법을 개발하기 위해.
• 강력한 공정성과 성능 보장을 유지하는 다항식 크기의 루엔츠 최적 솔루션 부분집합을 제공하기 위해.

제안 방법

• 불평등을 최소화하는 루엔츠 지배를 공정성 기준으로 사용하여 파레토 지배를 개선하고, 보상 분포의 불평등을 줄이는 솔루션을 선호한다.
• 효율적인 근사 루엔츠 최적 정책 계산을 위한 혼합정수선형계획(MILP) 수식을 제안한다.
• 루엔츠 지배에 따라 안내되는 가중합 스칼라화 접근법을 사용하여 대표적인 솔루션 부분집합을 생성한다.
• 상호작용 공간을 탐색하고 핵심 루엔츠-비지배 정책을 식별하기 위해 이분법 기반 알고리즘을 활용한다.
• 루엔츠 최적 솔루션의 압축되고 대표적인 집합을 유지하기 위해 샘플링 및 필터링 메커니즘을 도입한다.
• 기본 MOMDP 인스턴스에서 방법을 검증하여 확장성과 공정성 유지 능력을 입증한다.

실험 결과

연구 질문

• RQ1 루엔츠 지배는 다중목표 MDP에 효과적으로 적용되어 다중 목표 간 공정한 보상 분포를 확보할 수 있는가?
• RQ2 무한할린 MOMDP에서 정확한 루엔츠-비지배 솔루션을 찾는 데 있어 계산 복잡도는 무엇이며, 이를 완화할 수 있는가?
• RQ3 오차가 제한된 다항식 크기의 솔루션 부분집합을 구성하여 루엔츠-비지배 정책 집합을 근사할 수 있는가?
• RQ4 표준 스칼라화 기법과 비교할 때 제안된 방법은 공정성과 솔루션 품질 측면에서 어떻게 다른가?
• RQ5 다양한 목표를 가진 현실적인 MOMDP 인스턴스에서 이 근사 방법의 확장성은 어떠한가?

주요 결과

• 제안된 방법은 다항식 크기의 루엔츠-비지배 솔루션 부분집합을 성공적으로 계산하여 계산 비용을 크게 감소시키면서도 공정성을 유지한다.
• 근사 접근법은 강력한 이론적 보장을 유지하여 생성된 솔루션이 진정한 루엔츠 최적 프론트에 매우 가까운 것을 보장한다.
• 기본 문제에 대한 실증 결과는 방법이 잘 확장되며, 공정성 지표에서 표준 스칼라화 기법을 일관되게 능가함을 보여준다.
• MILP와 이분법 기반 샘플링을 사용함으로써 체계적 탐색 없이도 보상 트레이드오프 공간을 효율적으로 탐색할 수 있다.
• 루엔츠 지배는 보상 분포의 불평등을 효과적으로 줄여 다중 에이전트 또는 기준 간 더 공정한 정책 결과를 이끈다.
• 이 방법은 UAI 2013 회의 논문집에서 검증되어 실제 응용 가능성과 현실 세계의 MOMDP 인스턴스에 대한 강건성을 입증한다.