[논문 리뷰] Toward negotiable reinforcement learning: shifting priorities in Pareto optimal sequential decision-making

Andrew Critch|arXiv (Cornell University)|2017. 01. 05.

Auction Theory and Applications참고 문헌 13인용 수 6

한 줄 요약

이 논문은 다양한 신념을 지닌 에이전트가 존재하는 환경에서 파레토 최적의 다중 에이전트 강화 학습을 위한 새로운 프레임워크를 제안한다. 예측 정확도에 기반해 우선순위 가중치를 동적으로 조정하는 재귀적 정책 업데이트를 도입하여, 신념 이질성 하에서 선형 유틸리티 집합이 실패하고, 에이전트가 자신의 신념을 사용해 행동을 평가하고 시간에 따라 우선순위를 전환해야 한다는 점을 보여준다.

ABSTRACT

Existing multi-objective reinforcement learning (MORL) algorithms do not account for objectives that arise from players with differing beliefs. Concretely, consider two players with different beliefs and utility functions who may cooperate to build a machine that takes actions on their behalf. A representation is needed for how much the machine's policy will prioritize each player's interests over time. Assuming the players have reached common knowledge of their situation, this paper derives a recursion that any Pareto optimal policy must satisfy. Two qualitative observations can be made from the recursion: the machine must (1) use each player's own beliefs in evaluating how well an action will serve that player's utility function, and (2) shift the relative priority it assigns to each player's expected utilities over time, by a factor proportional to how well that player's beliefs predict the machine's inputs. Observation (2) represents a substantial divergence from naïve linear utility aggregation (as in Harsanyi's utilitarian theorem, and existing MORL algorithms), which is shown here to be inadequate for Pareto optimal sequential decision-making on behalf of players with different beliefs.

연구 동기 및 목표

• 다른 신념과 유틸리티 함수를 가진 다수의 에이전트에 대해 파레토 최적 정책을 설계하는 문제에 대응한다.
• 플레이어들이 서로의 다름을 알고 있는 상황에서 AI 시스템의 협동적 의사결정을 정식화한다.
• 신념 이질성 하에서 효율성과 공정성을 보장하는 순차적 의사결정에서의 효율성과 공정성을 보장하는 재귀적 정책 프레임워크를 개발한다.
• 에이전트 간의 신념 차이가 존재하는 다중 에이전트 환경에서 표준 선형 유틸리티 집합(예: 하르사니의 정리)의 한계를 규명한다.
• 협동 AI 시스템에서 인센티브 호환성, 학습 가능성, 자연화된 의사결정의 기초를 마련한다.

제안 방법

• 서로 다른 사전 확률에 대한 공통 지식 하에서 파레토 최적 정책이 만족해야 할 재귀 조건을 유도한다.
• 볼록 해석학과 선형 대수학을 사용해 각 에이전트의 자신의 신념을 사용해 행동 유틸리티를 평가해야 한다는 조건을 정식화한다.
• 각 에이전트의 기계의 입력을 예측하는 정확도에 비례해 시간에 따라 변하는 우선순위 가중치 업데이트 규칙을 도입한다.
• 유도된 재귀 구조를 나이브한 유틸리티 조합과 대비하여, 신념 이질성 하에서의 부적합성을 입증한다.
• 신념이 다른 에이전트 간의 협력을 모델링하는 POMDP 유사 환경에서 순차적 의사결정에 이 프레임워크를 적용한다.
• 인센티브 호환성, 자연화된 의사결정 이론, 그리고 사전 확률과 유틸리티의 학습 고려 사항으로 분석을 확장한다.

실험 결과

연구 질문

• RQ1 여러 에이전트가 서로 다른 신념과 유틸리티 함수를 가질 때, 기계 정책을 어떻게 설계하여 파레토 최적이 되게 할 수 있는가?
• RQ2 신념 차이에 대한 공통 지식 하에서 파레토 최적 정책이 만족해야 할 재귀적 구조는 무엇인가?
• RQ3 에이전트가 서로 다른 신념을 가질 때 선형 유틸리티 집합이 파레토 최적 순차적 의사결정을 달성하지 못하는 이유는 무엇인가?
• RQ4 이러한 환경에서 각 에이전트의 기대 유틸리티에 할당된 상대적 우선순위는 시간이 지남에 따라 어떻게 변화해야 하는가?
• RQ5 이 프레임워크는 협동 AI 시스템에서의 인센티브 호환성과 학습에 어떤 영향을 미치는가?

주요 결과

• 파레토 최적 정책은 각 에이전트의 자신의 신념을 사용해 행동이 그 에이전트의 유틸리티 함수에 얼마나 잘 부합하는지 평가해야 한다.
• 정책은 시간이 지남에 따라 각 에이전트의 신념이 기계의 입력을 얼마나 잘 예측하는지에 비례해 우선순위 가중치를 동적으로 전환해야 한다.
• 하르사니의 정리에서처럼 나이브한 유틸리티 조합은 에이전트가 서로 다른 신념을 가질 경우 파레토 최적이 되지 못한다.
• 유도된 재귀는 예측 정확도와 개인의 신념 체계와의 일치를 통해 효율성과 공정성을 보장한다.
• 이 프레임워크는 신념 이질성이 표준 유틸리티 집합에서의 탈피를 요구하며, 각 에이전트의 인지적 시각과 내부 일관성을 유지해야 한다는 점을 드러낸다.
• 결과적으로 향후 협동 AI 시스템은 정적 또는 대칭적인 가중치보다 동적이고 신념에 민감한 우선순위 메커니즘을 통합해야 한다.