[논문 리뷰] Preventing Imitation Learning with Adversarial Policy Ensembles

Albert Zhan, Stas Tiomkin외 1명|arXiv (Cornell University)|2020. 01. 31.

Reinforcement Learning in Robotics참고 문헌 40인용 수 4

한 줄 요약

이 논문은 외부 관찰자가 암시적 학습을 시도할 경우 이를 적극적으로 저항할 수 있도록 근사 최적의 정책 집합을 훈련하는 새로운 강화학습 프레임워크인 적대적 정책 집합(Adversarial Policy Ensembles, APE)을 소개한다. 정책 기울기 최적화를 수정하여 정책 집합의 성능를 동시에 최대화하고, 어떤 클론된 정책의 성능를 최소화함으로써, APE는 클론된 정책의 수익을 5배 이상 떨어뜨리면서도 원래 집합의 성능는 근사 최적 수준을 유지한다.

ABSTRACT

Imitation learning can reproduce policies by observing experts, which poses a problem regarding policy privacy. Policies, such as human, or policies on deployed robots, can all be cloned without consent from the owners. How can we protect against external observers cloning our proprietary policies? To answer this question we introduce a new reinforcement learning framework, where we train an ensemble of near-optimal policies, whose demonstrations are guaranteed to be useless for an external observer. We formulate this idea by a constrained optimization problem, where the objective is to improve proprietary policies, and at the same time deteriorate the virtual policy of an eventual external observer. We design a tractable algorithm to solve this new optimization problem by modifying the standard policy gradient algorithm. Our formulation can be interpreted in lenses of confidentiality and adversarial behaviour, which enables a broader perspective of this work. We demonstrate the existence of "non-clonable" ensembles, providing a solution to the above optimization problem, which is calculated by our modified policy gradient algorithm. To our knowledge, this is the first work regarding the protection of policies in Reinforcement Learning.

연구 동기 및 목표

• 비밀 정책의 도용을 방지하기 위한 강화학습의 프라이버시 격차를 해소하기 위해.
• 전문가의 시연가 원래 정책 소유자에게는 유용하지만, 행동 복제를 尝시도하는 외부 관찰자에게는 무용한 상태를 보장하는 방법을 개발하기 위해.
• 정책 성능를 향상시키고 잠재적 클론 정책의 성능를 떨어뜨리는 것을 동시에 고려하는 제약 최적화 문제를 수립하기 위해.
• 실제로 이러한 적대적 정책 집합을 훈련할 수 있도록 정책 기울기 기반의 실현 가능한 알고리즘을 설계하기 위해.
• 외부 관찰자가 상당한 데이터 수집을 尝시도하더라도, 정책 집합이 복제 불가능하도록 설계될 수 있음을 입증하기 위해.

제안 방법

• 정책 집합의 기대 수익을 최대화하고 가상의 클론 정책의 기대 수익을 최소화함으로써 문제를 제약 최적화 문제로 공식화한다.
• 집합의 시연에서 학습하는 가짜 관찰자 정책을 도입하여, 암시적 학습에 대한 가장 악성의 시나리오를 모델링한다.
• 표준 정책 기울기 알고리즘을 수정하여 집합 정책뿐 아니라 관찰자의 가상 정책에 대한 기울기 추정도 수행한다.
• 몬테카를로 샘플링을 사용해 관찰자의 정책 기울기를 근사함으로써, 집합과 관찰자의 성능를 동시에 최적화할 수 있도록 한다.
• 정책 표현에 맥락 변수를 통합하여 전문가 신원을 평균화함으로써, 관찰자가 개별 전문가 행동을 추론할 수 없도록 한다.
• 이 알고리즘을 이산 MDP 환경에 적용하여 행동 복제에 강건한 정책 집합을 훈련시킨다.

실험 결과

연구 질문

• RQ1 외부 관찰자가 행동 복제를 尝시도할 경우, 그들의 집합적 시연가 무의미해지도록 전문가 정책 집합을 설계할 수 있는가?
• RQ2 원래 정책 집합의 높은 성능와 클론된 정책의 낮은 성능를 동시에 최적화하는 것이 가능한가?
• RQ3 정책 기울기 알고리즘을 어떻게 확장하여, 집합과 가상의 관찰자 정책을 유연하고 실현 가능한 방식으로 동시에 최적화할 수 있는가?
• RQ4 제안된 방법을 사용할 경우, 클론된 정책의 성능가 원래 집합에 비해 얼마나 정량적으로 떨어지는가?
• RQ5 이 프레임워크는 연속 상태 공간과 클론 정책에 대한 '무의미함'의 다른 정의로 일반화될 수 있는가?

주요 결과

• 제안된 APE 방법은 근사 최적 성능를 달성하면서도, 클론된 정책의 성능가 최적 정책에 비해 5배 이상 떨어지도록 성공적으로 정책 집합을 훈련시켰다.
• 수치 시뮬레이션에서 APE 방법은 집합과 클론 정책 간의 성능 차이가 +0.07로 나타나, 클론 정책이 원래 집합보다 현저히 열 劣한 것으로 확인되었다.
• 모든 기준 정책 집합에서 집합과 클론 정책 간 성능 차이가 근본적으로 없었으며, 이는 APE가 복제 방지에 독특하게 효과적임을 확인한다.
• 관찰자가 많은 수의 시연를 수집하더라도 이 방법이 효과를 유지함으로써, 데이터가 풍부한 복제 시도에 강건함을 입증한다.
• 초기 결과는 관찰자가 강력한 순차 모델(예: RNN)을 사용할 경우 적대적 효과가 감소함을 시사하며, 고도화된 암시적 학습 전략에 대한 방법의 효과 한계를 보여준다.
• 프레임워크는 기대 수익 이외의 보상 함수를 사용해 '무의미함'을 정의하는 데로 확장 가능하며, 이는 적대적 행동의 맞춤형 설정을 가능하게 한다.