[논문 리뷰] Towards Robust ResNet: A Small Step but A Giant Leap

Jingfeng Zhang, Bo Han외 3명|arXiv (Cornell University)|2019. 02. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 13

한 줄 요약

이 논문은 ResNet의 강건성을 향상하기 위해 동역학 시스템의 관점에서 네트워크를 해석하고, 조정 가능한 단계 요소 $ h $를 사용한 명시적 오일러 방법으로 모델링함으로써 원칙적인 접근을 제안한다. 작은 $ h $는 특징 변환의 스무딩을 통해 훈련 안정성과 일반화 강건성을 모두 향상시키며, 시각 및 텍스트 데이터셋에서 노이즈가 있는 조건에서도 일관된 성능 향상을 보여주며, 특히 깊은 아키텍처에서 두드러진다.

ABSTRACT

This paper presents a simple yet principled approach to boosting the robustness of the residual network (ResNet) that is motivated by the dynamical system perspective. Namely, a deep neural network can be interpreted using a partial differential equation, which naturally inspires us to characterize ResNet by an explicit Euler method. Our analytical studies reveal that the step factor h in the Euler method is able to control the robustness of ResNet in both its training and generalization. Specifically, we prove that a small step factor h can benefit the training robustness for back-propagation; from the view of forward-propagation, a small h can aid in the robustness of the model generalization. A comprehensive empirical evaluation on both vision CIFAR-10 and text AG-NEWS datasets confirms that a small h aids both the training and generalization robustness.

연구 동기 및 목표

• 배치 정규화가 존재함에도 불구하고 초기 훈련 단계에서 기울기 폭발 문제로 인해 발생하는 매우 깊은 ResNets의 훈련 불안정성 문제를 해결하기 위해.
• 모자이크 무늬가 있는 이미지나 철자 실수가 있는 텍스트와 같은 노이즈가 있는 입력 데이터가 존재할 경우의 일반화 강건성을 향상시키기 위해.
• 구조적 복잡성이나 하이퍼파라미터의 전면적 재설정 없이도 강건성을 향상시키는 원칙적이고 이론적으로 탄탄한 방법을 제공하기 위해.
• 명시적 오일러 방법을 통해 딥 러닝과 동역학 시스템 간의 연결을 구축함으로써, $ h $를 통해 특징 변환의 스무딩 정도를 제어할 수 있도록 하기 위해.

제안 방법

• 각 잔차 블록이 시간 단계에 해당하는 이산 동역학 시스템으로 ResNet을 모델링하며, 단계 크기 $ h $를 사용한다.
• 잔차 블록 갱신 $ \mathbf{x}_{n+1} = \mathbf{x}_n + h \cdot \mathcal{F}(\mathbf{x}_n) $ 를 수치적 적분 단계로 해석하며, $ h $ 가 변환 크기를 제어한다.
• 이론적으로 작은 $ h $ 가 역전파 동안 기울기 흐름을 안정화시켜 훈련 강건성을 향상시키고, 전방 전파 동안 노이즈 증폭을 제한함으로써 일반화 강건성을 향상시킨다는 것을 증명한다.
• CIFAR-10과 AG-NEWS 데이터셋에서 다양한 노이즈 수준과 네트워크 깊이에서 $ h $ 의 변화가 미치는 영향을 실증적으로 평가한다.
• $ h \in [0.001, 20] $ 범위에서 그리드 서치를 수행하여 최적의 값을 도출하고, 극단적인 $ h $ 값에 대한 추론 실험을 통해 트레이드오프를 평가한다.
• 배치 정규화와 표준 훈련 프로토콜을 사용하며, 유일하게 $ h $ 만을 변경하여 강건성과 성능 변동성에 미치는 영향을 격리한다.

실험 결과

연구 질문

• RQ1 ResNet의 오일러 기반 수식에서 작은 단계 요소 $ h $ 가 기울기 흐름을 안정화시켜 훈련 강건성을 향상시킬 수 있는가?
• RQ2 노이즈가 있는 입력에서 전방 전파 동안의 노이즈 증폭을 줄이기 위해 $ h $ 를 감소시키면 일반화 성능이 향상되는가?
• RQ3 다양한 네트워크 깊이에 대해 $ h $ 의 최적 범위는 무엇이며, 이는 훈련 안정성과 성능 변동성에 어떤 영향을 미치는가?
• RQ4 배치 정규화가 사용될 경우, $ h $ 는 다른 하이퍼파라미터와 비교해 강건성에 어떤 영향을 미치는가?
• RQ5 구조적 변경 없이도 $ h $ 를 조정하는 원칙적이고 이론적으로 탄탄한 방법이 표준 ResNet을 능가할 수 있는가?

주요 결과

• 작은 단계 요소 $ h = 0.1 $ 은 깊은 ResNets(예: CIFAR-10에서 ResNet-218)에서 훈련 강건성을 일관되게 향상시키며, 훈련 변동성을 감소시키고 불안정성을 방지한다.
• 일반화 강건성 측면에서, $ h = 0.1 $ 인 ResNet은 표준 ResNet($ h = 1.0 $)보다 노이즈가 많은 입력에서 더 우수한 성능을 보이며, 특히 높은 노이즈 수준에서 테스트 정확도의 변동성이 낮다.
• $ h \geq 5 $ 일 경우, 특히 ResNet-110과 같은 깊은 네트워크에서 훈련이 불안정해지고 종종 실패함을 확인하여 안정성에 대한 임계값이 존재함을 시사한다.
• 너무 작은 $ h $ (예: $ h = 0.001 $) 는 특징 변환의 과도한 스무딩으로 인해 일반화 성능이 떨어지며, 스무딩 정도의 트레이드오프를 확인한다.
• 최적의 $ h $ 는 네트워크 깊이에 따라 달라진다: 더 깊은 네트워크(예: ResNet-218)는 작은 $ h $ (약 0.1) 에서 가장 큰 이점을 얻으며, 얕은 네트워크(예: ResNet-20)는 더 큰 $ h $ (최대 2.0) 를 견딜 수 있다.
• AG-NEWS 데이터셋에서는 ResNet-49에 대해 $ h = 0.3 $, ResNet-17에 대해 $ h = 0.5 $ 가 최적의 성능을 보였으며, $ h \geq 0.8 $ 일 경우 5번의 훈련 중 3번이 실패했다.