[논문 리뷰] An Optimal Control View of Adversarial Machine Learning

Xiaojin Zhu|arXiv (Cornell University)|2018. 11. 11.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 9

한 줄 요약

이 논문은 적대적 기계 학습을 결정론적 이산 시간 최적 제어 문제로 프레임워크화하며, 적대자(Adversary)는 전략적 변형을 통해 기계 학습 시스템을 조작하는 제어기로 작용한다. 공격을 정의된 동역학, 비용 및 목표를 가진 제어 과정으로 모델링함으로써, 데이터 풀링, 테스트 시기 공격, 보상 조정 등 다양한 적대적 설정을 동일한 프레임워크로 통합한다. 이는 제어 이론 및 강화 학습 기법을 활용하여 공격 설계 및 방어 전략을 향상시키는 데 기여한다.

ABSTRACT

I describe an optimal control view of adversarial machine learning, where the dynamical system is the machine learner, the input are adversarial actions, and the control costs are defined by the adversary's goals to do harm and be hard to detect. This view encompasses many types of adversarial machine learning, including test-item attacks, training-data poisoning, and adversarial reward shaping. The view encourages adversarial machine learning researcher to utilize advances in control theory and reinforcement learning.

연구 동기 및 목표

• 데이터 풀링, 테스트 시기 회피, 보상 조정 등 다양한 적대적 기계 학습 공격을 단일 최적 제어 프레임워크로 통합하기.
• 시스템의 동역학과 비용 함수를 명시적으로 정의한 제어 문제로 공격를 공식화함으로써, 기존의 제어 이론 및 강화 학습 기법을 적대적 기계 학습에 적용할 수 있도록 하기.
• i.i.d. 가정과 농도 불등식을 초월하는 개념적 및 수학적 기반을 제공함으로써, 적대적 기계 학습을 최적 제어 이론과 통합하기.
• 적대자의 행동 영향력을 제한함으로써 제어 가능성의 한계를 방어 수단으로 삼을 수 있음을 규명함.
• 기계 학습 교육 및 개인 맞춤형 교육으로의 확장을 통해, 적대적 설정을 초월한 광범위한 적용 가능성을 입증하기.

제안 방법

• 기계 학습 학습자(learner)를 상태 $\mathbf{x}_t$, 제어 입력 $\mathbf{u}_t$, 그리고 알려진 시스템 동역학 $f$로 구성된 동역학적 시스템으로 모델링한다.
• 유한 시간 영역 최적 제어 공식화를 통해 적대자의 제어 문제를 정의하며, 주어진 시간 동안의 누적 비용을 최소화하는 데 초점을 맞춘다. 이는 주어진 시간의 비용 함수 $g_t(\mathbf{x}_t, \mathbf{u}_t)$ 와 종료 비용 $g_T(\mathbf{x}_T)$ 를 포함한다.
• 학습 데이터 풀링에 대해, 학습자의 모델 업데이트(예: 경험적 리스크 최소화를 통한 SVM)를 시스템 동역학 $f$로 모델링한다.
• 테스트 시기 공격과 보상 조정을 순차적 제어 문제로 표현하며, 적대자가 입력이나 보상을 조작하여 학습자를 목표 행동으로 유도하도록 한다.
• 관측된 상태에서 적대적 행동으로 매핑하는 제어 정책 $\phi_t(\mathbf{x}_t) = \mathbf{u}_t$ 를 사용하며, 비용은 노력과 성공도 지표를 반영한다.
• 미지의 동역학에 대해서는 강화 학습 또는 강건 제어를 적용하여, 학습자의 행동이 완전히 알려지지 않은 경우에도 공격 전략을 적응적으로 구현할 수 있다.

실험 결과

연구 질문

• RQ1 어떻게 하면 다양한 적대적 기계 학습 공격를 단일 수학적 프레임워크로 체계적으로 통합할 수 있는가?
• RQ2 동역학, 제어 입력 및 비용 함수 측면에서 적대적 공격와 최적 제어 문제 사이의 구조적 유사성은 무엇인가?
• RQ3 기존의 최적 제어 및 강화 학습 기법을 활용하여 더 효과적이고 침투성이 높은 적대적 공격를 설계할 수 있는가?
• RQ4 최적 제어 시각은 제어 가능성 제한을 통해 새로운 방어 전략을 어떻게 가능하게 하는가?
• RQ5 이 프레임워크는 온라인 학습 및 보상 조정 등 비 i.i.d. 및 비정적 상태의 적대적 상황으로 어떻게 확장될 수 있는가?

주요 결과

• 논문은 적대적 기계 학습가 결정론적 이산 시간 최적 제어 문제로 공식화할 수 있음을 입증하며, 적대자가 제어기 역할을 하며 학습자의 동역학이 제어 대상 시스템이 된다고 설명한다.
• 학습 데이터 풀링의 경우, 최적 제어 공식화는 SVM 학습 과정을 한 단계의 제어 문제로 모델링하며, 적대자가 학습 데이터를 조작하여 모델을 목표 가중치 벡터 $\mathbf{w}^*$ 로 이동시키는 방식으로 작용한다.
• 테스트 시기 공격의 경우, 적대자의 제어 입력은 입력 샘플에 대한 변형이며, 비용은 변형의 크기와 오분류 유도 성공 여부로 정의된다.
• 다중 암표 밴드잇에서의 적대적 보상 조정의 경우, 적대자는 보상 신호 $r_{I_t} + u_t$ 를 제어하며, 비용은 조정 노력과 목표 암표 선택 사이의 균형을 반영한다.
• 시스템 동역학 $f$ 가 알려지지 않은 경우에도 강화 학습 및 모델 기반 제어를 활용할 수 있도록 프레임워크를 제공하며, 이는 적응형 공격 전략을 가능하게 한다.
• 이 접근법은 제어 가능성의 핵심 취약성을 드러내며, 적대자의 시스템 상태 영향력을 제한함으로써 일반적인 방어 수단이 될 수 있음을 시사한다.