[논문 리뷰] Invariant backpropagation: how to train a transformation-invariant neural network

Sergey Demyanov, James Bailey외 2명|arXiv (Cornell University)|2015. 02. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 18인용 수 6

한 줄 요약

이 논문은 오차 불변 백프로파게이션(Loss IBP)과 예측 IBP를 제안하며, 기울기 계산을 수정하여 입력 변형에 대해 강건한 신경망을 훈련시키는 두 가지 새로운 확장 기법을 제시한다. 예측 IBP는 손실가장 증가 방향에 따라 예측 불변성을 강제함으로써, 표준 백프로파게이션 및 다른 방법들보다 MNIST와 CIFAR-10에서 더 높은 분류 정확도를 달성하지만, 계산 비용이 약 20% 증가한다.

ABSTRACT

In many classification problems a classifier should be robust to small variations in the input vector. This is a desired property not only for particular transformations, such as translation and rotation in image classification problems, but also for all others for which the change is small enough to retain the object perceptually indistinguishable. We propose two extensions of the backpropagation algorithm that train a neural network to be robust to variations in the feature vector. While the first of them enforces robustness of the loss function to all variations, the second method trains the predictions to be robust to a particular variation which changes the loss function the most. The second methods demonstrates better results, but is slightly slower. We analytically compare the proposed algorithm with two the most similar approaches (Tangent BP and Adversarial Training), and propose their fast versions. In the experimental part we perform comparison of all algorithms in terms of classification accuracy and robustness to noise on MNIST and CIFAR-10 datasets. Additionally we analyze how the performance of the proposed algorithm depends on the dataset size and data augmentation.

연구 동기 및 목표

• 작은 입력 변형(예: 이동, 회전, 노이즈 등)에 대해 표준 백프로파게이션의 불변성 부족 문제를 해결하기 위해.
• 데이터 증강에 의존하지 않고 국소 입력 변형에 대해 강건한 신경망을 명시적으로 정규화하는 방법을 개발하기 위해.
• 기존 방법들인 탄젠트 BP와 적대적 훈련과 비교하여 정확도 및 강건성 측면에서 제안된 방법들을 평가하기 위해.
• 데이터셋 크기와 데이터 증강이 제안된 정규화 기법의 효과성에 미치는 영향을 분석하기 위해.

제안 방법

• 손실 IBP는 손실 함수를 입력 변화에 대해 불변으로 만들기 위해, 입력 변화에 대한 손실의 야코비안을 사용해 기울기를 조정함으로써 모든 작은 입력 변화에 대해 불변성을 확보한다.
• 예측 IBP는 손실을 가장 크게 증가시키는 입력 변화에 대해 네트워크 예측의 불변성을 강제하기 위해, 기울기 업데이트를 손실 변화가 가장 급격한 방향과 일치시킨다.
• 변형 방향을 따라 방향 도함수를 포함하는 수정된 체인 룰을 사용해 가중치 기울기를 계산함으로써 효율적인 백프로파게이션을 가능하게 한다.
• 대부분의 레이어 유형에 대해 손실 IBP는 추가로 한 번의 전방전파만 필요하므로 계산적으로 효율적이다.
• 타근트 BP와 적대적 훈련의 빠른 버전을 제안하며, 후자는 원래 성능을 15% 더 빠르게 달성한다.
• 이 방법은 모든 신경망 아키텍처와 호환되며, 다른 정규화 기법과도 조합 가능하다.

실험 결과

연구 질문

• RQ1 표준 백프로파게이션을 확장하여 데이터 증강에 의존하지 않고 작은 입력 변형에 대해 신경망의 불변성을 확보할 수 있는가?
• RQ2 손실 함수에 대한 불변성 강제(Loss IBP)와 예측에 대한 불변성 강제(Prediction IBP) 간의 정확도 및 강건성 측면에서의 성능 비교는 어떠한가?
• RQ3 제안된 방법이 노이즈 및 적대적 변형이 가해진 MNIST 및 CIFAR-10 같은 데이터셋에서 일반화 성능을 향상시키는가?
• RQ4 데이터셋 크기와 데이터 증강이 불변 백프로파게이션의 성능 향상에 미치는 영향은 어떠한가?
• RQ5 타근트 BP와 적대적 훈련과 같은 기존 방법의 빠른 버전을 성능 손실 없이 개발할 수 있는가?

주요 결과

• 예측 IBP는 MNIST와 CIFAR-10 양쪽에서 가장 높은 분류 정확도를 달성하였으며, 표준 백프로파게이션 및 다른 정규화 방법들을 능가했다.
• MNIST에서는 표준 백프로파게이션의 경우 예측 IBP와 적대적 훈련을 포함한 모든 방법보다 가우시안 노이즈에 더 강건한 것으로 나타났다.
• CIFAR-10에서는 탄젠트 BP가 가장 높은 성능을 보였지만, 두 데이터셋 모두에서 가우시안 노이즈와 적대적 노이즈에 가장 민감한 것으로 나타났다.
• 예측 IBP의 성능 향상은 MNIST 1,000개 샘플 서브셋에서 43%, 전체 60,000개 샘플 세트에서는 18%였으며, 이는 큰 데이터셋에서도 강력한 정규화 효과가 있음을 시사한다.
• 데이터 증강은 예측 IBP를 완전히 대체하지 못했으며, 증강을 적용한 후에도 성능 향상이 유지되어, 증강 데이터를 초월한 불변성을 포착하고 있음을 시사한다.
• 적대적 훈련의 빠른 버전은 원래 성능을 유지하면서 15% 더 빠르게 작동했고, 빠른 탄젠트 BP 버전은 원래 성능 대비 정확도 향상이 없었다.