[논문 리뷰] Multitask Learning Strengthens Adversarial Robustness

Chengzhi Mao, Amogh Gupta외 5명|arXiv (Cornell University)|2020. 07. 14.

Adversarial Robustness in Machine Learning참고 문헌 58인용 수 12

한 줄 요약

이 논문은 다중 작업 학습이 출력 차원 수를 증가시켜 개별 작업을 대상으로 하는 적대적 편향이 상쇄되도록 하여 딥 신경망 내에서 적대적 로버스트니를 본질적으로 향상시킨다고 제안한다. Cityscapes와 Taskonomy에서의 실험 결과, 다중 작업 모델은 공격 하에서 mIoU 기준 최대 7포인트 향상되며, 청소된 정확도를 유지하거나 향상시키고, 적대적 훈련과 상호보완적임을 보였다.

ABSTRACT

Although deep networks achieve strong accuracy on a range of computer vision benchmarks, they remain vulnerable to adversarial attacks, where imperceptible input perturbations fool the network. We present both theoretical and empirical analyses that connect the adversarial robustness of a model to the number of tasks that it is trained on. Experiments on two datasets show that attack difficulty increases as the number of target tasks increase. Moreover, our results suggest that when models are trained on multiple tasks at once, they become more robust to adversarial attacks on individual tasks. While adversarial defense remains an open challenge, our results suggest that deep networks are vulnerable partly because they are trained on too few tasks.

연구 동기 및 목표

• 다중 작업 학습이 딥 신경망의 적대적 로버스트니를 향상시키는지 조사하는 것.
• 다중 작업 훈련이 적대적 공격에 대한 저항력을 높이는 이론적 메커니즘을 이해하는 것.
• 실세계 데이터셋에서 단일 작업 및 다중 작업 공격 하에서 다중 작업 모델의 로버스트니 향상 정도를 경험적으로 평가하는 것.
• 다중 작업 학습이 적대적 훈련과 같은 기존 방어 기법과 상호보완적인지 평가하는 것.
• 현재 모델이 너무 적은 수의 작업으로 훈련되기 때문에 일부로 취약하다는 점을 입증하는 것.

제안 방법

• 이론적 분석은 1차 상한을 사용하여 출력 차원 수를 늘림(다중 작업 학습을 통해)함으로써 적대적 편향이 서로 상쇄되어 로버스트니가 향상됨을 보여준다.
• 경험적 평가에서는 Cityscapes와 Taskonomy 두 데이터셋을 사용하며, 최대 11개의 시각 작업을 포함하여 총 110개의 다중 작업 모델(11개의 주요 작업 × 10개의 보조 작업)을 훈련한다.
• 모델들은 $L_∞ = 4$ 이며 50단계인 PGD 공격 하에서 청소된 성능과 적대적 성능을 측정한다.
• 제거 실험은 단일 작업 기반 모델과 다중 작업 모델을 비교하며, 세그멘테이션의 mIoU와 깊이 추정의 절대 오차를 측정한다.
• 다중 작업 학습과 적대적 훈련을 조합하여 상호보완적 로버스트니 향상 정도를 테스트한다.
• 주요 작업과 보조 작업 손실을 균형 잡기 위해 각 작업별로 하이퍼파라미터 $\lambda_a$를 조정(0.1 또는 0.01)

실험 결과

연구 질문

• RQ1 다중 작업 학습은 단일 작업 학습에 비해 적대적 로버스트니를 향상시키는가?
• RQ2 다중 작업 학습을 통해 출력 차원 수를 늘일 경우 적대적 공격의 성공률는 어떻게 영향을 받는가?
• RQ3 다중 작업 학습은 적대적 훈련과 조합되어 청소된 성능과 로버스트 성능을 모두 향상시킬 수 있는가?
• RQ4 편향 상쇄 효과가 다수의 작업 간에 발생함으로써 로버스트니 향상이 이루어지는가?
• RQ5 다중 작업 학습은 오직 한 개의 작업만 공격을 받을 경우에도 로버스트니를 향상시키는가?

주요 결과

• 11개의 모든 작업이 공격을 받을 경우, 다중 작업 학습은 세그멘테이션의 mIoU 로버스트니를 최대 7포인트 향상시키며, 다른 작업의 오차는 최대 60% 감소한다.
• 오직 주요 작업만 공격을 받을 경우, 다중 작업 학습은 세그멘테이션의 mIoU를 최대 6포인트 향상시키며, 보조 작업의 오차는 최대 23% 감소한다.
• Taskonomy 데이터셋에서 다중 작업 학습은 PGD 공격 하에서 110개의 경우 중 90개에서 적대적 성능을 향상시키며, 평균 상대적 향상률은 10.23%이다.
• Cityscapes에서 다중 작업 학습은 $L_\infty = 4$ 공격 하에서 적대적 훈련된 모델의 세그멘테이션 성능을 2.40 mIoU 포인트 향상시키고, 깊이 추정 성능을 8.4 포인트 향상시킨다.
• 다중 작업 학습은 110개의 경우 중 70개에서 청소된 성능을 유지하거나 향상시키며, 110개의 경우 중 90개에서 로버스트니를 크게 향상시킨다.
• 이 방법은 적대적 훈련과 상호보완적이며, 최신 모델의 청소된 성능과 로버스트 성능을 모두 향상시킨다.