[논문 리뷰] Lexicographic and Depth-Sensitive Margins in Homogeneous and Non-Homogeneous Deep Models

Mor Shpigel Nacson, Suriya Gunasekar외 3명|arXiv (Cornell University)|2019. 05. 17.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 25

한 줄 요약

이 논문은 제약 조건, 정규화, 최적화 경로를 분석하여 균일성과 비균일성 모두를 고려한 깊이 신경망 모델로 최대 마진 이론을 확장한다. 균일 모델의 경우 제약 경로가 렉시코그래픽 최대 마진 해에 수렴함을 증명하고, 비균일성 앙상블의 경우 얕은 하위 모델이 기각됨을 보여주며, 과다 매개변수화된 네트워크에서 깊이에 민감한 인도크티브 비이드를 드러낸다.

ABSTRACT

With an eye toward understanding complexity control in deep learning, we study how infinitesimal regularization or gradient descent optimization lead to margin maximizing solutions in both homogeneous and non-homogeneous models, extending previous work that focused on infinitesimal regularization only in homogeneous models. To this end we study the limit of loss minimization with a diverging norm constraint (the "constrained path"), relate it to the limit of a "margin path" and characterize the resulting solution. For non-homogeneous ensemble models, which output is a sum of homogeneous sub-models, we show that this solution discards the shallowest sub-models if they are unnecessary. For homogeneous models, we show convergence to a "lexicographic max-margin solution", and provide conditions under which max-margin solutions are also attained as the limit of unconstrained gradient descent.

연구 동기 및 목표

• 과다 매개변수화된 딥 뉴럴 네트워크에서 최적화 및 정규화가 유도하는 인도크티브 비이드를 이해하는 것.
• 기존 선형 및 균일 모델에 대한 최대 마진 해에 대한 연구를 비균일 모델, 특히 앙상블 아키텍처로 확장하는 것.
• 발산하는 노름 제약 조건을 가진 제약 경로의 극한을 규명하고, 이와 최대 마진 최적화 간의 관계를 균일 및 비균일 모델 모두에서 규명하는 것.
• 균일 모델에서 비제약 경로의 경사하강법이 최대 마진 해로 수렴하는지, 그리고 어떤 조건에서 그러한 수렴이 이루어지는지 조사하는 것.
• 렉시코그래픽 최대 마진 해의 개념을 도입하고 체계화하는 것 — 이는 표준 최대 마진 분류기의 보완이다.

제안 방법

• 발산하는 노름 제약 조건 하에서의 최적화인 제약 경로를 무한소 정규화의 대체로 분석한다.
• k번째로 작은 마진을 반복적으로 최대화함으로써 렉시코그래픽 최대 마진 집합을 도입한다. 이는 표준 최대 마진 해를 정교화하는 것이다.
• α-양성 균일 모델의 경우, 제약 경로의 극한이 렉시코그래픽 최대 마진 집합 내에 포함됨을 증명한다.
• 균일 하위 모델의 합으로 구성된 비균일 모델에 프레임워크를 적용한다 (예: 신경망 앙상블).
• 이러한 앙상블에서, 제약 경로 해는 불필요한 얕은 하위 모델을 기각함을 보여준다.
• 제약 경로, 마진 경로, 비제약 최적화 경로 간의 관계를 확립하고, 제약 경로의 정적점으로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 비균일성 깊이 신경망에서 제약 경로(발산하는 노름 제약 조건)는 최대 마진 최적화와 어떻게 관련이 있는가?
• RQ2 균일 모델에서 비제약 경사하강법이 유도하는 인도크티브 비이드는 무엇이며, 이는 최대 마진 해로 이어지는가?
• RQ3 최대 마진 개념은 첫 번째로 작은 마진을 넘어서 정교화될 수 있는가? 만약 가능하다면, 이러한 정교화가 모델 일반화에 어떤 영향을 미치는가?
• RQ4 균일 하위 모델의 합으로 이루어진 앙상블 모델은 제약 최적화 하에서 어떻게 행동하는가? 더 깊은가, 더 얕은가 구성 요소를 선호하는가?
• RQ5 최적화 경로가 제약 경로 또는 마진 경로와 동일한 해로 수렴하는 조건은 무엇인가?

주요 결과

• α-양성 균일 모델의 경우, 제약 경로의 극한은 렉시코그래픽 최대 마진 집합에 포함되며, 이는 가장 작은 마진을 최대화하고, 그 다음으로 두 번째로 작은 마진을 최대화하는 등 순차적으로 최적화됨을 의미한다.
• 균일 하위 모델의 합으로 이루어진 비균일 모델에서, 제약 경로 해는 데이터 피팅에 필요하지 않은 경우 얕은 하위 모델을 기각한다.
• 제약 경로는 최대 마진 해로 수렴하며, 일부 경우에서는 파rameter 경로 자체가 최대 마진 해 집합으로 수렴한다.
• 최적화 경로(비제약 경사하강법)는 제약 경로의 정적점으로 수렴하며, 이는 최적화 역학과 최대 마진 최적화 간의 강력한 연관성을 시사한다.
• 렉시코그래픽 최대 마진 집합은 표준 최대 마진 분류기 이상의 최적 해를 정교화한 특성화를 제공하며, 특히 균일 모델에서 중요한 역할을 한다.
• 결과는 깊이와 매개변수화가 과다 매개변수화된 모델에서 인도크티브 비이드에 영향을 미치며, 앙상블 아키텍처에서 더 깊은 구성 요소가 선호됨을 시사한다.