[논문 리뷰] Accommodating Picky Customers: Regret Bound and Exploration Complexity for Multi-Objective Reinforcement Learning

Jingfeng Wu, Vladimir Braverman외 1명|arXiv (Cornell University)|2020. 11. 25.

Reinforcement Learning in Robotics참고 문헌 34인용 수 6

한 줄 요약

이 논문은 적대적인 선호가 존재하는 온라인 환경에서 다목적 강화학습(MORL)에 대해 모델 기반 알고리즘을 제안하며, 거의 최소최대 최적의 손실 한계 $\widetilde{\mathcal{O}}\bigl{(}\sqrt{\min\{d,S\}\cdot H^{2}SAK}\bigr{)}$ 를 달성한다. 또한, 임의의 선호 벡터에 대해 $\epsilon$ 이내 오차로 적응할 수 있는 거의 최적의 궤적 복잡도 $\widetilde{\mathcal{O}}\bigl{(}{\min\{d,S\}\cdot H^{3}SA}/{\epsilon^{2}}\bigr{)}$ 를 가지는 선호 없음 탐색 알고리즘을 도입하여, 샘플 효율성 있는 MORL 분야에서 열려 있는 문제를 해결한다.

ABSTRACT

In this paper we consider multi-objective reinforcement learning where the objectives are balanced using preferences. In practice, the preferences are often given in an adversarial manner, e.g., customers can be picky in many applications. We formalize this problem as an episodic learning problem on a Markov decision process, where transitions are unknown and a reward function is the inner product of a preference vector with pre-specified multi-objective reward functions. We consider two settings. In the online setting, the agent receives a (adversarial) preference every episode and proposes policies to interact with the environment. We provide a model-based algorithm that achieves a nearly minimax optimal regret bound $\widetilde{\mathcal{O}}\bigl(\sqrt{\min\{d,S\}\cdot H^2 SAK}\bigr)$, where $d$ is the number of objectives, $S$ is the number of states, $A$ is the number of actions, $H$ is the length of the horizon, and $K$ is the number of episodes. Furthermore, we consider preference-free exploration, i.e., the agent first interacts with the environment without specifying any preference and then is able to accommodate arbitrary preference vector up to $ε$ error. Our proposed algorithm is provably efficient with a nearly optimal trajectory complexity $\widetilde{\mathcal{O}}\bigl({\min\{d,S\}\cdot H^3 SA}/{ε^2}\bigr)$. This result partly resolves an open problem raised by \citet{jin2020reward}.

연구 동기 및 목표

• 훈련 중에 선호가 적대적으로 제공되거나 존재하지 않을 때 다목적 강화학습(MORL)의 과제를 해결하기 위해.
• 적대적인 선호 벡터가 존재하는 온라인 MORL 환경에서 거의 최소최대 최적의 손실을 달성하는 모델 기반 알고리즘을 개발하기 위해.
• 임의의 선호 벡터를 $\epsilon$ 오차 이내로 수용할 수 있으며 궤적 복잡도가 최소화되는 선호 없음 탐색 알고리즘을 설계하기 위해.
• 샘플 효율성 있는 MORL 분야에서 열려 있는 문제를 해결하기 위해, 선호 없음 탐색에 대해 거의 최적의 궤적 복잡도 한계를 확립하기 위해.

제안 방법

• 알려지지 않은 유한 수평의 MDP에서 $d$ 개의 목적이 있고, 상태 수 $S$, 행동 수 $A$, 수평선 $H$ 를 가진 에피소드 기반 학습 과제로 문제를 수리적으로 정의한다.
• 적대적인 선호에 대응하여 탐색과 이용을 균형 잡는 데 사용되는 전이 및 보상 모델에 대한 신뢰 구간을 유지하는 모델 기반 알고리즘을 제안한다.
• 미래의 선호를 알지 못한 채 데이터를 수집하는 선호 없음 탐색 단계를 도입하며, 정책 공간을 커버하기 위해 구조화된 탐색 전략을 사용한다.
• 선호 벡터와 다목적 보상의 내적을 활용하여 가중 누적 수익을 최적화하는 가치 함수 추정 및 정책 개선 프레임워크를 활용한다.
• 집중 부등식과 커버링 추론을 사용하여 추정 오차를 제한하고, 손실 및 오차에 대한 고확률 보장을 유도한다.
• 새로운 분석 기법을 적용하여 알고리즘의 궤적 복잡도가 거의 최적임을 입증하며, 이는 이전 연구의 격차를 해결한다.

실험 결과

연구 질문

• RQ1 선호가 적대적으로 선택된 경우 온라인 다목적 강화학습에서 달성 가능한 최적의 손실 한계는 무엇인가?
• RQ2 미래의 선호 벡터를 제한된 오차로 효율적으로 지원할 수 있는 선호 없음 탐색 알고리즘을 설계할 수 있는가?
• RQ3 다목적 MDP에서 선호 없음 탐색의 최적 궤적 복잡도는 무엇인가?
• RQ4 선호 없음 설정에서 샘플 복잡도는 목표 수 $d$, 상태 수 $S$, 행동 수 $A$, 수평선 $H$ 에 따라 어떻게 스케일링되는가?

주요 결과

• 제안된 온라인 MORL 알고리즘은 $\widetilde{\mathcal{O}}\bigl{(}\sqrt{\min\{d,S\}\cdot H^{2}SAK}\bigr{)}$ 의 손실 한계를 달성하며, 이는 거의 최소최대 최적이다.
• 정보 이론적 하한선 $\Omega\bigl{(}\sqrt{\min\{d,S\}\cdot H^{2}SAK}\bigr{)}$ 는 손실 한계의 최적성을 로그 인자 수준까지 확인한다.
• 선호 없음 탐색 알고리즘은 $\widetilde{\mathcal{O}}\bigl{(}{\min\{d,S\}\cdot H^{3}SA}/{\epsilon^{2}}\bigr{)}$ 의 궤적 복잡도를 달성하며, 이는 거의 최적이다.
• 궤적 복잡도 한계는 Jin 등(2020)이 제기한 선호 없음 탐색의 효율성 문제를 해결한다.
• 분석 결과 $\min\{d,S\}$ 에 대한 의존성은 다목적 문제의 본질적 복잡도를 반영하며, 선호 공간의 효과적 차원을 나타낸다.