[논문 리뷰] Optimizing Mode Connectivity via Neuron Alignment

N. Joseph Tatro, Pin‐Yu Chen외 4명|arXiv (Cornell University)|2020. 01. 01.

Adversarial Robustness in Machine Learning인용 수 2

한 줄 요약

이 논문은 가중치 순열 대칭성을 고려하여 손실 곡면에서 모드 연결성을 최적화하기 위해 뉴런 정렬을 제안한다. 모델 간 중간 활성도 분포를 정렬함으로써, 적대적 훈련된 모델 간의 낮은 손실, 평면적인 곡선을 찾을 수 있으며, 이는 강건성 손실 장벽을 크게 감소시켜 일반화와 강건성을 향상시킨다.

ABSTRACT

The loss landscapes of deep neural networks are not well understood due to their high nonconvexity. Empirically, the local minima of these loss functions can be connected by a learned curve in model space, along which the loss remains nearly constant; a feature known as mode connectivity. Yet, current curve finding algorithms do not consider the influence of symmetry in the loss surface created by model weight permutations. We propose a more general framework to investigate the effect of symmetry on landscape connectivity by accounting for the weight permutations of the networks being connected. To approximate the optimal permutation, we introduce an inexpensive heuristic referred to as neuron alignment. Neuron alignment promotes similarity between the distribution of intermediate activations of models along the curve. We provide theoretical analysis establishing the benefit of alignment to mode connectivity based on this simple heuristic. We empirically verify that the permutation given by alignment is locally optimal via a proximal alternating minimization scheme. Empirically, optimizing the weight permutation is critical for efficiently learning a simple, planar, low-loss curve between networks that successfully generalizes. Our alignment method can significantly alleviate the recently identified robust loss barrier on the path connecting two adversarial robust models and find more robust and accurate models on the path.

연구 동기 및 목표

• 깊은 신경망의 고차원적이고 비볼록적인 손실 곡면에 대한 이해 부족을 해결하기 위해.
• 가중치 순열 대칭성이 모델 공간 내 모드 연결성에 미치는 영향을 조사하기 위해.
• 경로에 걸쳐 뉴런 활성도를 정렬함으로써 모델 간 곡선 탐색을 향상시키는 방법을 개발하기 위해.
• 적대적으로 훈련된 모델 간의 강건성 손실 장벽을 감소시켜 더 안정적이고 정확한 보간을 가능하게 하기 위해.

제안 방법

• 두 개의 깊은 신경망 간 최적의 가중치 순열을 근사하기 위한 힌트로 뉴런 정렬을 도입한다.
• 보간 경로를 따라 구조적 유사성을 증진시키기 위해 두 모델의 중간 활성도 분포를 정렬한다.
• 근사적으로 최적의 순열을 확보하기 위해 보조적 번갈아 최적화 기법을 사용한다.
• 신경망 가중치의 순열을 활성도 정렬을 통해 최적화함으로써 모델 공간 내 평면적이고 낮은 손실의 곡선을 구성한다.
• 손실 곡면 내에서 가중치 순열 대칭성을 암묵적으로 고려함으로써 연결성을 향상시킨다.

실험 결과

연구 질문

• RQ1 깊은 신경망의 가중치 순열 대칭성이 손실 곡면의 연결성에 어떻게 영향을 미치는가?
• RQ2 모델 간 중간 활성도 분포를 정렬하면 더 낮은 손실을 가진 보다 우수한 보간 경로를 얻을 수 있는가?
• RQ3 뉴런 정렬은 두 개의 적대적으로 강건한 모델 간의 강건성 손실 장벽을 감소시키는가?
• RQ4 뉴런 정렬을 통해 구한 순열은 경로 손실을 최소화하기 위해 국소적으로 최적이인가?
• RQ5 정렬된 경로는 표준 보간보다 더 잘 일반화되어 더 강건하고 정확한 모델을 제공하는가?

주요 결과

• 뉴런 정렬은 두 개의 적대적으로 강건한 모델 간의 강건성 손실 장벽을 크게 감소시켜 더 부드럽고 낮은 손실의 보간을 가능하게 한다.
• 보조적 번갈아 최적화 기법을 통해 뉴런 정렬을 통해 확보한 순열이 국소적으로 최적이라는 것을 경험적으로 검증하였다.
• 이 방법은 표준 보간 방법보다 더 잘 일반화되는 평면적이고 낮은 손실의 곡선을 성공적으로 찾았다.
• 활성도 분포 정렬은 보간 경로 전반에 걸쳐 강건성과 정확도를 향상시킨다.
• 가중치 순열 대칭성을 고려하는 것이 딥러닝에서 효과적인 모드 연결성을 확보하는 데 핵심적이라는 점을 입증하였다.