[논문 리뷰] On Adversarial Risk and Training.

Arun Sai Suggala, Adarsh Prasad외 2명|arXiv (Cornell University)|2018. 06. 07.

Adversarial Robustness in Machine Learning인용 수 3

한 줄 요약

이 논문은 적대적 편향, 적대적 위험, 적대적 훈련을 공식적으로 정의하여 이들의 이론적 기반을 구축한다. 적대적 훈련은 전통적 훈련 대비 분류 정확도와 모델 해석 가능성 향상을 보여주며, 계산 비용이 더 높다는 점을 감안하더라도 이를 활용할 것을 주장한다.

ABSTRACT

In this work we formally define the notions of adversarial perturbations, adversarial risk and adversarial training and analyze their properties. Our analysis provides several interesting insights into adversarial risk, adversarial training, and their relation to the classification risk, training. We also show that adversarial training can result in models with better classification accuracy and can result in better explainable models than traditional training. Although adversarial training is computationally expensive, our results and insights suggest that one should prefer adversarial training over traditional risk minimization for learning complex models from data.

연구 동기 및 목표

• 엄밀한 이론적 프레임워크 내에서 적대적 편향, 적대적 위험, 적대적 훈련을 공식적으로 정의하는 것.
• 모델 훈련에서 적대적 위험과 표준 분류 위험 간의 관계를 분석하는 것.
• 적대적 훈련이 전통적 위험 최소화에 비해 더 나은 일반화 및 해석 가능성으로 이어지는지 조사하는 것.
• 적대적 훈련에서 계산 비용과 성능 향상 간의 상충 관계를 평가하는 것.

제안 방법

• 논문은 적대적 편향을 소규모이고 목표가 정해진 입력 변화로 공식화하여, 이로 인해 오분류가 발생하도록 정의한다.
• 적대적 위험을 적대적 예제 위에서의 기대 손실로 정의하며, 표준 경험적 위험 최소화를 확장한다.
• 적대적 훈련은 일반적으로 최소-최대 공식을 사용하여 유계 집합 내에서 가장 악성인 편향에 대해 최적화하는 방식으로 공식화된다.
• 적대적 예제를 강화 최적화 문제를 풀어 훈련 과정에 통합함으로써 접근한다.
• 이론적 분석을 통해 적대적 위험과 표준 분류 위험 간의 비교를 통해 일반화 행동에서의 구조적 차이를 드러낸다.

실험 결과

연구 질문

• RQ1 어떻게 이론적 분석을 지원할 수 있는 방식으로 적대적 편향을 공식적으로 정의할 수 있는가?
• RQ2 모델 학습에서 적대적 위험과 표준 분류 위험 간의 관계는 무엇인가?
• RQ3 적대적 훈련은 표준 훈련에 비해 더 높은 분류 정확도를 가진 모델을 도출하는가?
• RQ4 적대적 훈련은 표준 훈련으로부터 도출된 모델보다 더 해석 가능하거나 설명 가능한 모델을 생성할 수 있는가?

주요 결과

• 동일한 조건에서 표준 훈련에 비해 적대적 훈련은 더 높은 분류 정확도를 보이는 모델을 생성한다.
• 공식화 과정을 통해 적대적 위험은 표준 위험보다 더 명백하고 더 강건한 모델 성능 측정 기준임을 드러낸다.
• 적대적 훈련은 전통적 훈련 방법으로 도출된 모델보다 더 해석 가능한 모델을 생성한다.
• 더 높은 계산 비용에도 불구하고, 복잡한 데이터로부터의 모델 학습에 있어서 적대적 훈련이 더 바람직한 것으로 입증된다.