[논문 리뷰] A Research Agenda: Dynamic Models to Defend Against Correlated Attacks

Ian Goodfellow|arXiv (Cornell University)|2019. 03. 14.

Adversarial Robustness in Machine Learning참고 문헌 10인용 수 12

한 줄 요약

이 논문은 추론 중 지속적으로 적응하는 동적 기계학습 모델을 제안하여 상관관계가 있는 테스트 시간 공격에 대비한다—즉, 적대자가 반복되거나 의존적인 입력을 악용해 고정된 모델을 무너뜨리는 공격이다. 이는 기억 기반 기각 메커니즘을 갖춘 동적 모델이 이러한 공격에 대해 거의 완벽한 강건성을 달성할 수 있음을 보여주는 '헬로 월드' 예제를 제시하며, 향후 방어 전략을 위한 핵심 요소로 동적 행동을 주장한다.

ABSTRACT

In this article I describe a research agenda for securing machine learning models against adversarial inputs at test time. This article does not present results but instead shares some of my thoughts about where I think that the field needs to go. Modern machine learning works very well on I.I.D. data: data for which each example is drawn {\em independently} and for which the distribution generating each example is {\em identical}. When these assumptions are relaxed, modern machine learning can perform very poorly. When machine learning is used in contexts where security is a concern, it is desirable to design models that perform well even when the input is designed by a malicious adversary. So far most research in this direction has focused on an adversary who violates the {\em identical} assumption, and imposes some kind of restricted worst-case distribution shift. I argue that machine learning security researchers should also address the problem of relaxing the {\em independence} assumption and that current strategies designed for robustness to distribution shift will not do so. I recommend {\em dynamic models} that change each time they are run as a potential solution path to this problem, and show an example of a simple attack using correlated data that can be mitigated by a simple dynamic defense. This is not intended as a real-world security measure, but as a recommendation to explore this research direction and develop more realistic defenses.

연구 동기 및 목표

• 적대자가 입력 간 의존성을 악용하는 고정된 기계학습 모델의 취약성을 해결한다—즉, 테스트 시간 공격에서 반복되거나 관련된 입력을 악용한다.
• 실제 보안 환경에서 강건성을 확보하기 위해 i.i.d. 데이터와 독립적인 테스트 예제가 충분하다는 가정을 도전한다.
• 스토캐스틱성을 가진 정적 모델이라도 본질적으로 취약하며, 단 하나의 적대적 예제가 발견되면 신속하게 무너질 수 있음을 주장한다.
• 시간이 지남에 따라 변화하는 동적 모델을 향후 강건한 방어 기반으로 삼아야 한다고 주장한다.
• 기각, 활성 학습, 쿼리 레이트 제한과 같은 상호보완적 방어 메커니즘을 탐색하여 동적 행동을 보완한다.

제안 방법

• 배포 중 지속적으로 결정 함수를 변경하는 동적 모델을 설계하여 공격자가 행동을 예측할 수 없도록 한다.
• 모델이 반복된 입력을 감지하고 분류를 기각하는 '기억 기반 방어'를 구현하여 알려진 실수의 악용을 방지한다.
• 적대적 제어 하에서 입력 변형을 모델링하기 위해 변환 함수 $ f({m{x}}, {m{ heta}}) $ 를 사용하며, $ {m{ heta}} $ 는 동적 모델 파라미터를 나타낸다.
• 이전에 본 적이 있는 입력과 일치할 경우 기각 메커니즘이 작동하여 일관된 잘못된 분류 위험을 줄인다.
• 신뢰도 임계값을 사용해 결정 경계 근처의 불확실한 예측을 거부함으로써 동적 모델과 조합한다.
• 의심스러운 입력이 감지될 경우 진정한 레이블을 요청하기 위해 활성 학습을 통합하여 장기적인 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 추론 중 변화하는 동적 모델은 반복적으로 사용되는 단일 적대적 예제와 같은 상관관계가 있는 테스트 입력을 악용하는 공격을 완화할 수 있는가?
• RQ2 고정된 모델은 독립적인 변형에 대해 강건하더라도, 왜 상관관계가 있는 공격에서는 실패하는가?
• RQ3 기각 또는 활성 학습과 같은 다른 메커니즘과 동적 행동을 어떻게 조합하여 강건성을 향상시킬 수 있는가?
• RQ4 공격자가 모델 행동을 관찰하고 적응할 수 있는 상황에서 모델의 예측 불가능성은 어떤 역할을 하는가?
• RQ5 간단한 동적 방어 메커니즘이 제어된 공격 시나리오에서 정적 모델보다 현저히 높은 강건성을 달성할 수 있는가?

주요 결과

• 기억 및 기각 기반의 단순한 동적 방어는 고정 모델의 오류율이 100%에 이르는 표적 공격에 대해 100%의 강건성을 달성할 수 있다.
• 스토캐스틱성을 가진 고정 모델도 상관관계가 있는 공격에 취약한데, 단 하나의 적대적 예제가 발견되면 반복적으로 악용되기 때문이다.
• 시간이 지남에 따라 변화하는 동적 모델은 공격자가 모델 행동을 신뢰성 있게 예측할 수 없게 하여 악용 가능한 패턴을 찾는 것을 어렵게 한다.
• 동적 행동과 기각 메커니즘의 조합은 특히 비표적 공격 설정에서 강건성을 크게 향상시킨다.
• 동적 모델는 필요하지만 충분하지 않다. 실질적 구현을 위해서는 활성 학습 및 쿼리 레이트 제한과 같은 상호보완적 구성 요소가 필요할 것이다.
• ‘헬로 월드’ 예제는 동적 모델이 실용적이지 않더라도 정적 모델보다 강건성 면에서 뛰어나다는 것을 보여준다.