[논문 리뷰] Risk Bounds for Robust Deep Learning

Johannes Lederer|arXiv (Cornell University)|2020. 09. 14.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 12

한 줄 요약

이 논문은 유계가 아니며 리프시츠 연속인 손실 함수—예를 들어 허버, 코시, 최소절대편차 손실 등—를 사용한 딥러닝에 대한 이론적 리스크 경계를 수립한다. 이는 이러한 손실 함수를 사용한 경험 리스크 최소화가 최소한의 데이터 가정 하에 강건한 일반화를 보장함을 보여준다. 핵심 기여는 라데마처 복잡도에 기반한 일반 리스크 경계로, 이는 유계 손실이나 서브가우시안 가정 없이도 이상치나 오염된 데이터에 대한 강건성을 보장한다.

ABSTRACT

It has been observed that certain loss functions can render deep-learning pipelines robust against flaws in the data. In this paper, we support these empirical findings with statistical theory. We especially show that empirical-risk minimization with unbounded, Lipschitz-continuous loss functions, such as the least-absolute deviation loss, Huber loss, Cauchy loss, and Tukey's biweight loss, can provide efficient prediction under minimal assumptions on the data. More generally speaking, our paper provides theoretical evidence for the benefits of robust loss functions in deep learning.

연구 동기 및 목표

• 데이터 품질에 대한 약한 가정 하에서 딥러닝의 통계 이론을 제공함으로써, 특히 이상치나 적대적 오염이 존재할 경우에 대비한다.
• 엄밀한 이론적 보장을 통해 딥러닝에서 강건한 손실 함수의 경험적 성공을 정당화한다.
• 이전에 유계 또는 서브가우시안 손실에 국한되어 있던 일반화 경계를, 허버 및 코시 손실과 같은 비유계 리프시츠 연속 손실 함수로 확장한다.
• 가중치 감소와 함께 강건한 손실 함수를 사용할 경우, 일반화가 유해한 데이터 분포와 오염된 데이터 분포 양쪽 모두에서 효과적으로 이루어짐을 보여준다.

제안 방법

• 라데마처 복잡도 분석을 통해 비유계 리프시츠 연속 손실 함수를 사용한 경험 리스크 최소화자에 대한 일반 리스크 경계를 유도한다.
• 가중치 감소 정규화를 적용한 피드포워드 신경망에 일반 경계를 적용하여 모델 복잡도와 일반화 오차 간의 관계를 규명한다.
• 라데마처 복잡도를 사용해 손실 함수가 비유계일 경우에도 경험 리스크와 진짜 리스크 간의 편차를 제어한다.
• 리스크 경계가 가설 클래스의 라데마처 복잡도와 손실 함수의 리프시츠 상수에 비례하여 스케일링됨을 규명한다.
• 비정상 분포 또는 오염된 데이터 하에서, 강건한 손실 함수가 표준 최소제곱 손실보다 더 날카운 일반화 경계를 제공함을 보여준다.
• 실제 계산 제약을 고려해 근사 경험 리스크 최소화자로 이 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 비유계 리프시츠 연속 손실 함수를 사용한 경험 리스크 최소화가 약한 데이터 가정 하에 딥러닝에서 신뢰할 수 있는 일반화를 보장할 수 있는가?
• RQ2 허버나 코시 손실과 같은 강건한 손실 함수는 이상치나 적대적 데이터 존재 시 일반화를 어떻게 향상시키는가?
• RQ3 강건한 손실 함수를 사용할 경우, 가중치 감소, 라데마처 복잡도, 일반화 오차 사이의 이론적 관계는 무엇인가?
• RQ4 기존의 딥러닝 일반화 경계를 서브가우시안 또는 유계 입력/출력 가정 없이 비유계 손실 함수로 확장할 수 있는가?
• RQ5 강건한 손실 함수의 사용은 딥뉴럴넷에서 모델 복잡도와 일반화 간의 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• 논문은 데이터 분포에 대한 최소한의 가정 하에서도 유효한 비유계 리프시츠 연속 손실 함수를 사용한 경험 리스크 최소화에 대한 일반 리스크 경계를 수립한다.
• 경계는 허버, 코시, 최소절대편차 손실과 같은 강건한 손실 함수가 비정상 분포 또는 오염된 데이터 하에서 표준 최소제곱 손실보다 더 날카운 일반화 보장을 제공함을 보여준다.
• 가중치 감소 정규화와 함께 강건한 손실 함수를 사용할 경우, 라데마처 복잡도 경계를 통해 일반화가 유해한 데이터 분포와 오염된 데이터 분포 양쪽 모두에서 효과적으로 이루어짐을 보장한다.
• 이론적 프레임워크는 유계 출력이나 서브가우시안 노이즈 가정 없이도 강건한 손실 함수의 딥러닝 적용을 지원한다.
• 결과는 데이터 품질 문제 존재 시 딥러닝 파ip라인에서 강건한 손실 함수의 경험적 성공에 통계적 근거를 제공한다.
• 분석은 근사 최소화자로도 확장 가능하여 정확한 최적화가 불가능한 실용적 훈련 시나리오에 적용 가능하다.