[논문 리뷰] Deceptive Reinforcement Learning for Privacy-Preserving Planning

Zhengshang Liu, Yang Yue외 2명|arXiv (Cornell University)|2021. 02. 05.

Reinforcement Learning in Robotics참고 문헌 36인용 수 9

한 줄 요약

이 논문은 모델-프리 강화학습에서 보상 함수의 프라이버시를 유지하기 위해 두 가지 탐색 기반 강화학습 방법—의문 유도 기반 및 비이성성 가중 행동 선택—을 제안한다. 사전 훈련된 Q-함수를 활용해 열악한 성능이지만 모호한 경로를 생성함으로써, 에이전트는 나이브한 의도 인식 시스템과 인간 관찰자 모두를 속여 진정한 보상 추론의 정확도를 낮추지만 보상 손실은 중간 정도로 유지한다.

ABSTRACT

In this paper, we study the problem of deceptive reinforcement learning to preserve the privacy of a reward function. Reinforcement learning is the problem of finding a behaviour policy based on rewards received from exploratory behaviour. A key ingredient in reinforcement learning is a reward function, which determines how much reward (negative or positive) is given and when. However, in some situations, we may want to keep a reward function private; that is, to make it difficult for an observer to determine the reward function used. We define the problem of privacy-preserving reinforcement learning, and present two models for solving it. These models are based on dissimulation -- a form of deception that `hides the truth'. We evaluate our models both computationally and via human behavioural experiments. Results show that the resulting policies are indeed deceptive, and that participants can determine the true reward function less reliably than that of an honest agent.

연구 동기 및 목표

• 관찰자에게 진정한 보상 함수를 숨김으로써 강화학습에서 프라이버시를 유지하는 데 도전하는 것.
• 모델 기반 계획이 필요 없이 표준 강화학습 프레임워크에 적용 가능한 모델-프리이자 실용적인 탐색 메커니즘을 개발하는 것.
• 계산적 및 인간 행동 설정 모두에서 탐색의 효과성을 평가하는 것.
• 탐색이 관찰자의 추론 정확도에 미치는 영향과 기대 보상 성능과의 트레이드오프를 탐구하는 것.
• 관찰자의 전문성과 인지 수준이 탐색 효과성에 미치는 영향을 조사하는 것.

제안 방법

• 의문 모델은 관찰자의 가능한 목표에 대한 믿음 분포의 엔트로피를 최대화하는 행동을 선택함으로써, 진정한 보상 함수에 대한 불확실성을 증가시킨다.
• 비이성 모델은 가중합을 통해 정직한 행동과 비이성적인 행동을 조합하며, 이 가중치는 탐색과 성능 간의 균형을 맞추기 위해 조정된다.
• 두 모델 모두 행동 선택을 안내하기 위해 사전 훈련된 Q-함수를 사용하여, 환경 모델 지식이 없이도 모델-프리 강화학습에 적용 가능하다.
• 탐색은 진정한 목표를 제외한 모든 목표에 대해 열악한 경로를 생성함으로써 구현되며, 이는 에이전트의 의도를 모호하게 만든다.
• 모델 평가에는 관찰된 경로를 바탕으로 목표 가능성도를 추정하는 나이브한 의도 인식 시스템을 사용한다.
• 69명의 참가자를 대상으로 한 인간 참가자 실험은 3개 또는 5개의 가능한 목적지가 있는 경로 계획 작업에서 실제 세계에서의 탐색 효과성을 평가한다.

실험 결과

연구 질문

• RQ1 강화학습에서의 탐색이 관찰자에게 진정한 보상 함수를 효과적으로 숨길 수 있는가?
• RQ2 의문 기반 모델과 비이성 기반 모델 간의 탐색 효과성과 보상 효율성 측면에서의 비교는 어떠한가?
• RQ3 탐색하는 에이전트를 관찰할 때 인간 참가자가 진정한 보상 함수를 얼마나 정확히 추론할 수 있는가? 정직한 에이전트와 비교하여 어느 정도인가?
• RQ4 관찰자가 탐색이 가능하다는 것을 알고 있을 경우, 인간 참가자들이 탐색을 어떻게 인식하는가?
• RQ5 제안된 모델에서 탐색 효과성과 기대 누적 보상 간의 트레이드오프는 어떠한가?

주요 결과

• 의문 모델은 특히 다섯 개의 목표가 있는 시나리오에서 정직한 에이전트에 비해 인간 참가자가 진정한 보상 함수를 정확히 식별하는 능력을 감소시켰다.
• 비이성 모델은 의문 모델보다 더 강력한 탐색 효과를 달성했으며, 참가자들이 경로 전반에 걸쳐 진정한 목표를 정확히 추론할 가능성이 낮았다.
• 탐색에도 불구하고 관찰된 행동 수가 늘어날수록 진정한 보상 함수가 점점 더 식별 가능해졌으며, 이는 장기적인 계획에서 프라이버시 보호가 약화됨을 시사한다.
• 인간 참가자들은 나이브한 의도 인식 모델보다 정확도가 떨어졌으며, 이는 인간의 인지가 최적 경로를 추론하는 데 덜 효율적임을 의미한다.
• 정직한 모델이 때때로 참가자들에게 탐색으로 인식된 것은 전략적 행동에 대한 가정 때문일 가능성이 높으며, 이는 탐색 탐지에서 관찰자의 편향을 드러낸다.
• 비이성 모델은 의문 모델보다 더 높은 보상 손실(낮은 할인 기대 보상)을 경험했으며, 이는 탐색 설계에서 성능-비용 트레이드오프를 반영한다.