[논문 리뷰] Sequential Triggers for Watermarking of Deep Reinforcement Learning Policies

Vahid Behzadan, William Hsu|arXiv (Cornell University)|2019. 06. 03.

Adversarial Robustness in Machine Learning참고 문헌 6인용 수 13

한 줄 요약

이 논문은 별도로 분리된 환경에서 결정론적이고 고보상인 상태 전이 시퀀스로 고유 식별자를 임bedding하는 순차적 워터마킹 기법을 제안한다. 이 방법은 주 작업(예: CartPole)과 워터마킹 트리거를 동시에 습득하도록 단일 DRL 정책을 훈련시켜, 주 작업에서 거의 동일한 성능를 유지하면서도, 성공적인 트리거 반응을 통한 무단 복제 탐지가 가능하게 하며, 훈련 및 추론 시 성능 저하를 최소화한다.

ABSTRACT

This paper proposes a novel scheme for the watermarking of Deep Reinforcement Learning (DRL) policies. This scheme provides a mechanism for the integration of a unique identifier within the policy in the form of its response to a designated sequence of state transitions, while incurring minimal impact on the nominal performance of the policy. The applications of this watermarking scheme include detection of unauthorized replications of proprietary policies, as well as enabling the graceful interruption or termination of DRL activities by authorized entities. We demonstrate the feasibility of our proposal via experimental evaluation of watermarking a DQN policy trained in the Cartpole environment.

연구 동기 및 목표

• 직접 추출 및 무단 복제로부터 기업의 DRL 정책을 보호할 필요가 점점 커지는 데에 대응하기 위해.
• 표준 이mitation 학습 기법으로부터 탐지되지 않으며, 변조에 강건한 워터마킹 메커니즘을 개발하기 위해.
• 사전 정의된 희귀한 상태 전이 시퀀스를 통해 권한 있는 실체가 정책 실행을 탐지하거나 중단할 수 있도록 하기 위해.
• 워터마킹이 원래 작업에서 정책의 성능을 떨어뜨리지 않도록 보장하기 위해.
• 예를 들어, 임베디드 트리거를 통한 부드러운 종료 메커니즘과 같은 AI 안전성 분야의 응용을 탐색하기 위해.

제안 방법

• 주 환경과 상태 공간이 완전히 분리된 별도의 결정론적 MDP(워터마킹 환경)를 도입하여, 고유하고 고보상의 전이 시퀀스를 강제로 구현한다.
• 워터마킹 환경는 오직 정확한 액션 시퀀스만이 지속적인 양의 보상을 제공하고, 모든 이탈은 즉각적인 종료와 음의 보상으로 이어지도록 구성되어 있다.
• 주 DRL 환경(예: CartPole)과 워터마킹 환경을 매 f_E 에피소드마다 번갈아가며 훈련시켜, 정책이 두 작업을 동시에 학습할 수 있도록 한다.
• 정책는 훈련 중에 명시적으로 임베딩된 워터마킹이 있을 경우에만 트리거 시퀀스를 따를 수 있도록 하여, 테스트 시점에서 식별 가능하게 한다.
• 트리거 시퀀스는 워터마킹 환경의 상태를 순환적으로 따라가는 결정론적 경로로 설계되어, 고유성과 우연한 활성화 확률의 저하를 보장한다.
• 메인 정책의 가중치를 수정하지 않고 워터마킹을 임베딩하여, 원래 정책의 주 작업에서의 성능을 유지한다.

실험 결과

연구 질문

• RQ1 주 작업 성능에 영향을 주지 않으면서도, 드문 결정론적 상태 전이 시퀀스에 반응하도록 DRL 정책을 훈련시킬 수 있는가?
• RQ2 이미테이션 학습 또는 직접 가중치 복사 시도에 대해 워터마킹이 강건한가?
• RQ3 실제 운영 환경에서 무단 복제된 DRL 정책을 워터마킹으로 탐지할 수 있는가?
• RQ4 워터마킹을 활용하여 정책의 작동을 원격으로 권한 있는 실체에 의해 중단하거나 종료시킬 수 있는가?
• RQ5 워터마킹 환경의 포함이 주 DRL 정책의 훈련 안정성과 수렴에 어떤 영향을 미치는가?

주요 결과

• 워터마킹 기법을 적용한 DQN 정책는 주 CartPole 환경에서 100개의 테스트 에피소드 동안 평균 수익이 500.0을 기록하여, 워터마킹이 없는 DQN 정책와 동일한 성능를 보였다.
• 워터마킹 환경에서 워터마킹된 정책는 100개의 테스트 에피소드 동안 평균 수익이 500.0을 기록하여, 트리거 시퀀스가 정확히 학습되고 실행 가능함을 확인하였다.
• 워터마킹되지 않은 정책들(예: DQN, A2C, PPO2)은 워터마킹 환경에서 각각 평균 수익 1.4, 2.81, 2.43을 기록하여, 오직 워터마킹된 정책만이 트리거 시퀀스를 성공적으로 따를 수 있음을 확인하였다.
• 확장된 상태 공간과 전이 동역학으로 인해 훈련 과정에서 비용이 증가했지만, 두 환경 모두 수렴이 이루어졌다.
• 워터마킹 기법은 주 작업에 대해 거의 영향을 주지 않으며, 표준 정책의 성능에 측정 가능한 저하가 없음을 확인하였다.
• 결과적으로, 우연한 발생 가능성이 매우 낮은 순차적 결정론적 트리거를 통해 고유하고 탐지 가능한 식별자를 DRL 정책에 임베딩하는 것이 가능함을 확인하였다.