[논문 리뷰] Symmetry-invariant optimization in deep networks

Vijay Badrinarayanan, Bamdev Mishra외 1명|arXiv (Cornell University)|2015. 11. 05.

Neural Networks and Applications참고 문헌 23인용 수 11

한 줄 요약

이 논문은 필터 가중치에 단위 노름 제약 조건을 도입하거나 척도 불변 거리 척도를 사용하여 대칭성 불변(stochastic gradient descent, SGD) 업데이트를 제안함으로써, 계산 비용 증가 없이 테스트 정확도를 향상시킨다. MNIST 및 SegNet에서의 실험 결과는 배치 정규화를 사용할 경우 기존 SGD보다 뛰어난 성능을 보이며, 이는 더 나은 기울기 흐름과 가중치 재매개변수화에 대한 불변성 덕분이다.

ABSTRACT

Recent works have highlighted scale invariance or symmetry that is present in the weight space of a typical deep network and the adverse effect that it has on the Euclidean gradient based stochastic gradient descent optimization. In this work, we show that these and other commonly used deep networks, such as those which use a max-pooling and sub-sampling layer, possess more complex forms of symmetry arising from scaling based reparameterization of the network weights. We then propose two symmetry-invariant gradient based weight updates for stochastic gradient descent based learning. Our empirical evidence based on the MNIST dataset shows that these updates improve the test performance without sacrificing the computational efficiency of the weight updates. We also show the results of training with one of the proposed weight updates on an image segmentation problem.

연구 동기 및 목표

• 딥 네트워크에서 표준 유클리드 기울기 하강법에 악영향을 미치는 가중치 공간의 대칭성(예: 척도 불변성) 문제를 다루기.
• 최근 널리 사용되는 아키텍처 중 최대 풀링과 배치 정규화를 포함한 구조들이 단순한 척도 불변성 이상의 복잡한 대칭성을 가지는 것을 규명하기.
• 기존 SGD와 동일한 계산 비용을 유지하면서도 대칭성 불변인 효율적인 가중치 업데이트 규칙을 개발하기.
• 분류 및 세그멘테이션 작업에 대한 실험적 평가를 통해 일반화 성능 향상과 학습 안정성 향상을 입증하기.
• 깊은 네트워크에서도 표준 SGD를 능가하는 대칭성 불변 업데이트의 성능을 보이며, 얕은 네트워크를 더 효율적으로 설계할 수 있는 잠재적 가능성을 제시하기.

제안 방법

• 두 가지 대칭성 불변 SGD 업데이트 규칙 제안: (1) 필터 가중치를 단위 노름으로 정규화하는 UN, (2) 블록 대각형 피셔 정보 근사에서 유도된 척도 불변 거리 척도 기반 업데이트인 SM.
• 손실 함수를 유지하는 매개변수화 재정의에 대해 불변성을 보장하기 위해 가중치 다양체의 기하학적 관점에서 업데이트를 수립하기.
• 표준 SGD 프레임워크를 활용하여 최소한의 수정만으로도 백프로파게이션 중 정규화 또는 거리 기반 기울기 스케일링을 적용하기.
• ReLU, 최대 풀링, 배치 정규화를 포함한 완전 연결 및 컨볼루션 네트워크에 적용하여 SegNet과 같은 실제 아키텍처를 모델링하기.
• MNIST 및 CamVid 세그멘테이션 데이터셋에서 제안된 업데이트를 구현하고 테스트하기 위해 MATLAB의 Manopt 최적화 라이브러리를 사용하기.
• 일반적인 학습률 스케줄링 기법(예: bold driver, 지수 감소)과 통합하여 다양한 학습 프로토콜에서 일반화 성능 평가하기.

실험 결과

연구 질문

• RQ1 최대 풀링과 배치 정규화를 포함한 딥 네트워크에서 단순한 척도 불변성 이상의 복잡한 가중치 공간 대칭성은 최적화 경로에 어떤 영향을 미치는가?
• RQ2 기존 SGD에 적합하면서도 효과적이고 계산 비용이 적은 대칭성 불변 기울기 업데이트를 설계할 수 있는가?
• RQ3 이미지 분류 및 세그멘테이션 작업에서 표준 SGD에 비해 대칭성 불변 업데이트가 일반화 성능 향상에 얼마나 기여하는가?
• RQ4 필터에 단위 노름 제약 조건을 적용하면 기울기 흐름이 향상되고 가중치 재매개변수화에 대한 민감도가 감소하는가?
• RQ5 대칭성 불변 최적화를 통해 얕은 네트워크에서 학습 동역학을 향상시켜 더 깊은 아키텍처의 필요성을 줄일 수 있는가?

주요 결과

• 제안된 대칭성 불변 업데이트(SM 및 UN)는 표준 SGD에 비해 MNIST에서 훨씬 높은 테스트 정확도를 달성하며, 특히 bold driver 학습률 프로토콜을 사용한 UN에서 평균 테스트 오차가 가장 낮게 나타났다.
• 배치 정규화를 적용한 네 층의 Arch2 네트워크에서 SM 및 UN은 지수 감소 학습률 프로토콜을 사용한 B-SGD보다 평균 및 표준편차 측면에서 더 낮은 테스트 오차를 기록했다.
• 두 층의 Arch1 네트워크에서 bold driver 프로토콜을 사용한 UN의 성능은 지수 감소 학습률 프로토콜을 사용한 네 층의 Arch1 네트워크에서 B-SGD의 성능을 초월했으며, 이는 최적화 효율성이 향상됨을 시사한다.
• SM 및 UN의 적용은 더 안정적이고 낮은 오차 경로를 보이며, 더 나은 기울기 역전파를 유도함을 입증했다.
• CamVid 이미지 세그멘테이션에 대한 SegNet의 정성적 결과에서 UN 업데이트는 지표에 가까운 고품질의 의미 세그멘테이션 예측을 생성했으며, 실제 응용 분야에서의 유효성을 검증했다.
• 대칭성 불변 업데이트는 추가 하이퍼파rameter(예: 가중치 감쇠) 없이도 암묵적인 정규화 효과를 가지며 성능 향상을 이룬다.