[논문 리뷰] Deep Neural Networks with Multi-Branch Architectures Are Less Non-Convex

Hongyang Zhang, Junru Shao외 1명|arXiv (Cornell University)|2018. 06. 06.

Adversarial Robustness in Machine Learning참고 문헌 56인용 수 9

한 줄 요약

이 논문은 다중지점 구조를 가진 딥 네ural 네트워크가 이중성 간격의 감소를 통해 비볼록성을 감소시킴을 보여준다. 이는 이중성 간격의 감소로 정량화된다. 임의의 활성화 함수와 힌지 손실에 대해, 인구 및 표본 위험의 이중성 간격은 지점 수가 증가함에 따라 0에 수렴하며, ℓ₂ 손실을 가진 선형 네트워크의 경우 이중성 간격은 정확히 0이 되어 강한 이중성의 성립을 의미한다.

ABSTRACT

Several recently proposed architectures of neural networks such as ResNeXt, Inception, Xception, SqueezeNet and Wide ResNet are based on the designing idea of having multiple branches and have demonstrated improved performance in many applications. We show that one cause for such success is due to the fact that the multi-branch architecture is less non-convex in terms of duality gap. The duality gap measures the degree of intrinsic non-convexity of an optimization problem: smaller gap in relative value implies lower degree of intrinsic non-convexity. The challenge is to quantitatively measure the duality gap of highly non-convex problems such as deep neural networks. In this work, we provide strong guarantees of this quantity for two classes of network architectures. For the neural networks with arbitrary activation functions, multi-branch architecture and a variant of hinge loss, we show that the duality gap of both population and empirical risks shrinks to zero as the number of branches increases. This result sheds light on better understanding the power of over-parametrization where increasing the network width tends to make the loss surface less non-convex. For the neural networks with linear activation function and $\ell_2$ loss, we show that the duality gap of empirical risk is zero. Our two results work for arbitrary depths and adversarial data, while the analytical techniques might be of independent interest to non-convex optimization more broadly. Experiments on both synthetic and real-world datasets validate our results.

연구 동기 및 목표

• ResNeXt, Inception, Wide ResNet과 같은 다중지점 신경망 아키텍처가 뛰어난 성능을 내는 이유를 이해하기 위해.
• 이중성 간격을 측정으로써 딥 네럴 네트워크의 내재적 비볼록성을 정량화하기 위해.
• 다중지점 및 선형 신경망에서 인구 및 표본 위험에 대한 이중성 간격에 대한 이론적 보장을 수립하기 위해.
• 과다 매개변수화와 아키텍처 설계가 최적화 난이도를 줄이는 데 기여하는 데 대한 분석적 통찰을 제공하기 위해.

제안 방법

• 다양한 활성화 함수와 힌지 손실을 가진 다중지점 네트워크에서 이중성 간격을 유계로 만드는 데를 위해 샤플리-폴크만 보조정리를 활용한다.
• 지점 수가 증가함에 따라 인구 및 표본 위험의 이중성 간격이 0으로 수렴함을 증명한다.
• 강한 이중성을 확립하기 위해 이중 증명서 구성과 낮은 랭크 근사로의 환원을 적용하여 ℓ₂ 손실을 가진 깊이 있는 선형 네트워크에서의 이중성 간격을 분석한다.
• 비볼록 최적화 공식의 이중 문제를 유도하여, 이가 볼록임을 보이고 프록시멀 알고리즘으로 해석 가능함을 보여준다.
• 최적 해의 구조를 분석하기 위해 절단된 특이값 분해(SVD)와 투영 연산자를 사용한다.
• 잔차가 원래 해와 이중 해 사이에 존재하는 것을 유계로 만들기 위해 행렬 노름 부등식과 스펙트럼 성질을 활용한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크에서 다중지점 아키텍처가 내재적 비볼록성을 감소시키는가?
• RQ2 임의의 활성화 함수를 가진 딥 네럴 네트워크에서 이중성 간격을 분석적으로 유계로 만들거나 최소화할 수 있는가?
• RQ3 ℓ₂ 손실을 가진 깊이 있는 선형 네트워크에서 강한 이중성(이중성 간격이 0)이 성립하는 조건은 무엇인가?
• RQ4 지점 수를 늘일 경우, 인구 및 표본 위험 설정에서 이중성 간격은 어떻게 변화하는가?
• RQ5 과다 매개변수화는 딥 러닝 최적화 표면의 비볼록성을 어떻게 줄이는가?

주요 결과

• 임의의 활성화 함수와 힌지 손실의 변형을 가진 딥 네럴 네트워크에서, 인구 및 표본 위험의 이중성 간격은 지점 수가 증가함에 따라 0으로 수렴한다.
• ℓ₂ 손실을 가진 깊이 있는 선형 네트워크에서 표본 위험의 이중성 간격은 정확히 0이 되며, 이는 강한 이중성이 성립함을 의미한다.
• 이론적 결과는 임의의 네트워크 깊이와 악성 데이터 분포 하에서도 성립한다.
• 이중성 간격 감소는 최적화 표면을 더 비볼록하게 만드는 다중지점 구조에 기인한다.
• 합성 및 실세계 데이터셋에서의 실험 결과는 이론적 발견인 손실 표면의 매끄러움과 비볼록성 감소를 검증한다.
• 이중 증명서 구성과 낮은 랭크 근사와 같은 분석 기법은 비볼록 최적화 분야에서 별도의 관심을 끌 만한 가치가 있다.