[논문 리뷰] Explaining Landscape Connectivity of Low-cost Solutions for Multilayer Nets

Rohith Kuditipudi, Xiang Wang외 6명|arXiv (Cornell University)|2019. 01. 01.

Stochastic Gradient Optimization Techniques인용 수 29

한 줄 요약

이 논문은 잘 훈련된 다층 신경망에서 일반적인 성질인 드롭아웃과 노이즈 안정성에 기반하여, 최적 해가 낮은 손실 경로로 연결되는 딥 네트워크 내 모드 연결 현상을 설명한다. 저자들은 이러한 연결성이 현실적인 조건 하에서 자연스럽게 발생함을 이론적으로 보여주며, 실제 딥 네트워크에서의 실험을 통해 검증한다.

ABSTRACT

Mode connectivity is a surprising phenomenon in the loss landscape of deep nets. Optima---at least those discovered by gradient-based optimization---turn out to be connected by simple paths on which the loss function is almost constant. Often, these paths can be chosen to be piece-wise linear, with as few as two segments. We give mathematical explanations for this phenomenon, assuming generic properties (such as dropout stability and noise stability) of well-trained deep nets, which have previously been identified as part of understanding the generalization properties of deep nets. Our explanation holds for realistic multilayer nets, and experiments are presented to verify the theory.

연구 동기 및 목표

• 딥 네트워크의 최적 해가 손실 경로상에서 낮은 손실로 연결되는 현상인 모드 연결성의 이유를 이해하는 것.
• 잘 훈련된 딥 넷에서 관찰되는 일반적인 성질, 예를 들어 드롭아웃 안정성과 노이즈 안정성과 같은 성질을 통해 이러한 연결성을 설명하는 것.
• 단순화된 모델이 아닌 실제 다층 아키텍처에 적용 가능한 모드 연결성에 대한 이론적 기반을 제공하는 것.
• 표준 딥 러닝 설정에서의 실험을 통해 이론을 검증하여, 최적 해 간에 단순하고 낮은 손실 경로가 존재하는지 확인하는 것.

제안 방법

• 잘 훈련된 딥 넷에서 흔히 나타나는 드롭아웃 안정성과 노이즈 안정성에 기반한 가정 하에서 이론적 분석을 수행한다.
• 두 최적 모델이 거의 일정한 손실을 유지하는 조각별 선형 경로로 연결될 수 있는 조건을 유도한다.
• 분석은 주로 손실 경로의 기하학적 성질에 초점 맞추며, 특히 훈련된 모델 간 선형 보간 경로에서 손실의 행동을 다룬다.
• 표준 활성화 함수와 가중치 초기화를 사용하는 다층 피드포워드 네트워크에 적용 가능한 프레임워크이다.
• 이론적 결과는 표준 딥 러닝 벤치마크에서의 실험적 검증을 통해 뒷받침되며, 최소한의 구간 수로 낮은 손실 경로가 존재함을 보여준다.

실험 결과

연구 질문

• RQ1 왜 딥 네트워크의 최적 해는 손실 경로상에서 낮은 손실로 연결되는가?
• RQ2 잘 훈련된 딥 넷의 어떤 기본 성질이 이러한 모드 연결성을 유도하는가?
• RQ3 모드 연결성은 드롭아웃과 노이즈 안정성과 같은 일반적인, 경험적으로 관찰된 성질로 설명될 수 있는가?
• RQ4 이론적 설명은 실제 다층 네트워크 아키텍처에 대해서도 성립하는가?

주요 결과

• 딥 넷 내 모드 연결성은 특정 아키텍처의 특성보다는 드롭아웃 안정성과 노이즈 안정성과 같은 일반적인 성질에서 자연스럽게 유도된다.
• 최적 해는 최소한 두 개의 구간으로 이루어진 조각별 선형 경로로 연결될 수 있으며, 전체 경로에서 거의 일정한 손실을 유지한다.
• 이론적 프레임워크는 단순화되거나 이상화된 설정이 아닌 실제 다층 네트워크에 적용 가능하다.
• 실험 결과는 표준 훈련 절차로 확보된 최적 해 간에 이러한 낮은 손실 경로가 실제로 존재한다는 것을 확인한다.