[논문 리뷰] Improving the Robustness of Deep Neural Networks via Stability Training

Stephan Zheng, Yang Song외 2명|arXiv (Cornell University)|2016. 04. 15.

Adversarial Robustness in Machine Learning참고 문헌 10인용 수 91

한 줄 요약

이 논문은 깊이 있는 신경망의 자연스러운 입력 왜곡(예: JPEG 압축, 크기 조정, 자르기 등)에 대한 강건성을 향상시키기 위해 출력 일관성 최적화를 통해 안정성 훈련(stability training)을 도입한다. 이 방법은 깨끗한 데이터에서의 정확도를 희생시키지 않은 채 노이즈가 있는 데이터에서의 성능을 향상시키며, 근접 중복 검출, 유사 이미지 순서 매기기, 오염된 환경에서의 분류 등에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper we address the issue of output instability of deep neural networks: small perturbations in the visual input can significantly distort the feature embeddings and output of a neural network. Such instability affects many deep architectures with state-of-the-art performance on a wide range of computer vision tasks. We present a general stability training method to stabilize deep networks against small input distortions that result from various types of common image processing, such as compression, rescaling, and cropping. We validate our method by stabilizing the state-of-the-art Inception architecture against these types of distortions. In addition, we demonstrate that our stabilized model gives robust state-of-the-art performance on large-scale near-duplicate detection, similar-image ranking, and classification on noisy datasets.

연구 동기 및 목표

• JPEG 압축, 크기 조정, 자르기와 같은 일반적인 자연스러운 이미지 왜곡에 의해 발생하는 딥 네ural 네트워크 출력 불안정성 문제를 해결한다.
• 시각적으로 구분하기 어려운 이미지들에 대해 특징 임bedding이 크게 다를 수 있는 최신 기술 모델의 한계를 극복한다.
• 깨끗한 데이터에서의 성능을 훼손시키지 않는 일반적인 목적의 훈련 기법을 개발한다.
• 실제 세계의 비전 작업, 예를 들어 노이즈가 있는 또는 오염된 입력을 포함한 근접 중복 검출 및 분류 작업에서 향상된 성능을 입증한다.

제안 방법

• 작은 입력 왜곡에 대해 모델의 출력이 일관되게 유지되도록 유도하는 안정성 훈련 목표를 도입한다.
• 원본 입력의 왜곡된 복제본(예: JPEG 압축, 자르기, 크기 조정)으로 구성된 증강된 데이터로 모델을 훈련한다.
• 표준 크로스 엔트로피 손실에 더해, 작은 입력 왜곡에 대해 출력 변화가 큰 경우를 방지하는 정규화 항을 결합한다.
• 훈련 중 왜곡의 크기를 제어하기 위해 노이즈 파rameter σ를 사용하며, 현실적인 이미지 오염을 시뮬레이션한다.
• 역전파 동안 안정성 목표를 적용하여 정확도와 출력 안정성 양쪽을 동시에 최적화한다.
• 안정성과 원래 작업 성능 간의 트레이드오프를 조절하기 위해 하이퍼파rameter α(정규화 강도)와 σ(노이즈 스케일)를 사용한다.

실험 결과

연구 질문

• RQ1 깨끗한 데이터에서의 성능을 희생시키지 않고도 JPEG 압축 및 크기 조정과 같은 자연스러운 이미지 왜곡에 대해 딥 네ural 네트워크의 강건성을 향상시킬 수 있는가?
• RQ2 표준 훈련 대비 안정성 훈련이 근접 중복 이미지의 특징 임베딩 분산을 어느 정도 감소시키는가?
• RQ3 안정성 훈련은 오염되거나 노이즈가 있는 테스트 세트에서 모델 성능에 어떤 영향을 미치는가? 특히 이미지 분류 및 유사 이미지 순서 매기기 작업에서의 성능을 고려한다.
• RQ4 안정화된 모델은 캐릭터가 없는, 손상된 이미지 처리가 이루어진 실제 세계의 비전 데이터셋으로의 일반화 성능이 더 뛰어나게 되는가?
• RQ5 안정성 정규화와 원래 작업 정확도 사이의 최적의 트레이드오프는 무엇이며, 하이퍼파rameter α와 σ는 이 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• 안정성 훈련은 오염된 이미지 데이터에서 순서 매기기 성능을 크게 향상시킨다: Deep Ranking 모델은 JPEG 압축 이미지에서 상위 30개 성능 평가 점수 7,360을 기록했으며(기준 모델 7,286), 모든 왜곡 유형에서 일관된 향상이 관찰된다.
• JPEG 품질 50로 설정된 ImageNet 검증 세트에서 안정화된 Inception 모델은 상위 5 정확도 92.7%를 달성했으며(기준 모델 92.4%), 상위 1 정확도 75.7%를 기록했으며(기준 모델 75.1%), 오염 조건에서 0.6%의 향상이 있었다.
• 고수준의 왜곡 수준(예: JPEG 품질 10)에서 안정화된 모델은 상위 1 및 상위 5 정확도에서 기준 모델보다 5~6%포인트 높은 성능을 보이며 강력한 강건성을 입증한다.
• 깨끗한 ImageNet 데이터에서 안정화된 모델은 최신 기술 수준의 성능을 유지한다(상위 1: 77.9% vs. 기준 모델 77.8%), 통계적 오차 내에서 차이가 없으며, 깨끗한 데이터에서의 성능 저하가 없음을 확인한다.
• 이 방법은 다양한 작업에 효과적이다: 안정화된 모델은 오염된 데이터에서 근접 중복 검출 및 유사 이미지 순서 매기기 작업에서 기준 모델을 능가하며, 더 높은 순서 매기기 점수와 더 일관된 특징 임베딩을 제공한다.
• 적절한 하이퍼파rameter 설정을 통해 강건성이 향상된다: α=0.01 및 σ=0.04를 사용할 경우, JPEG 품질 수준이 80% 이하일 때 안정화된 모델이 기준 모델을 앞서기 시작하며, 증가하는 왜곡 조건에서도 강력한 일반화 성능을 보인다.