[논문 리뷰] Surfing: Iterative optimization over incrementally trained deep networks

Ganlin Song, Zhou Fan외 1명|arXiv (Cornell University)|2019. 07. 19.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 4

한 줄 요약

이 논문은 생성 모델의 입력 복구를 향상시키기 위해 점진적으로 훈련된 딥 네트워크를 활용하는 반복 최적화 방법인 '서핑(surfing)'을 제안한다. 점진적으로 훈련된 네트워크 파라미터 $\theta_t$를 사용하여 입력 $x$를 순차적으로 최적화함으로써, 매끄럽게 시작되는 손실 표면에서 복잡한 최종 형태로 변화하는 손실 표면을 탐색하며, 최종 모델에 직접 기울기 강하를 적용하는 것보다 훨씬 우수한 수렴 성능을 달성한다.

ABSTRACT

We investigate a sequential optimization procedure to minimize the empirical risk functional $f_{\hatθ}(x) = \frac{1}{2}\|G_{\hatθ}(x) - y\|^2$ for certain families of deep networks $G_θ(x)$. The approach is to optimize a sequence of objective functions that use network parameters obtained during different stages of the training process. When initialized with random parameters $θ_0$, we show that the objective $f_{θ_0}(x)$ is "nice'' and easy to optimize with gradient descent. As learning is carried out, we obtain a sequence of generative networks $x \mapsto G_{θ_t}(x)$ and associated risk functions $f_{θ_t}(x)$, where $t$ indicates a stage of stochastic gradient descent during training. Since the parameters of the network do not change by very much in each step, the surface evolves slowly and can be incrementally optimized. The algorithm is formalized and analyzed for a family of expansive networks. We call the procedure {\it surfing} since it rides along the peak of the evolving (negative) empirical risk function, starting from a smooth surface at the beginning of learning and ending with a wavy nonconvex surface after learning is complete. Experiments show how surfing can be used to find the global optimum and for compressed sensing even when direct gradient descent on the final learned network fails.

연구 동기 및 목표

• 최종 훈련된 네트워크에 직접 기울기 강하를 적용할 수 없는 비볼록 손실 표면으로 인해 딥 생성 모델의 입력 최적화가 어려운 문제를 해결하기 위해.
• 스토케스틱 훈련 중 네트워크 파라미터의 점진적 변화를 활용하여 입력 $x$에 대한 안정적이고 점진적인 최적화를 가능하게 하기 위해.
• 랜덤 초기화에서 완전 훈련까지 변화하는 경험적 위험 표면을 타고 가는 새로운 알고리즘인 '서핑'을 체계화하고 분석하기 위해.
• 서핑이 최종 모델에 직접 최적화하는 것보다 뛰어나게 성능을 발휘함을 보여주며, 특히 압축 감지 및 전역 최적해 복구에서 유의미한 성능 향상을 이룬다.

제안 방법

• 각 훈련 단계 $t$에서 이전 네트워크 $G_{\theta_{t-1}}(x)$의 손실을 최소화한 입력 $x^*_{t-1}$를 초기화로 사용하고, $f_{\theta_t}(x) = \frac{1}{2}\|G_{\theta_t}(x) - y\|^2$에 대해 기울기 강하를 수행한다.
• 스토케스틱 기울기 강하 중 파라미터 갱신이 작다는 사실을 활용하여 손실 표면이 천천가지고 연속적으로 변화함을 보장한다.
• 이론적 분석은 충분한 넓이를 가진 랜덤 ReLU 네트워크의 경우, 초기 손실 표면 $f_{\theta_0}(x)$가 잘 조절되어 있음을 보여주며, $x_0$와 $-x_0$의 작은 이웃 외부에서는 내림차순 방향이 존재한다.
• ReLU 활성화 함수로 인해 발생하는 조각별 이차 표면을 다루기 위해 이론 분석에서는 투영 기울기 강하를 사용하지만, 실무에서는 단순 기울기 강하로도 충분히 잘 작동한다.
• 확장형 ReLU 네트워크에 대해 알고리즘을 체계화하고, 전역 최소화자가 $t$에 따라 연속적으로 변화한다고 가정하여 분석한다.
• 실험을 통해 VAE 및 GAN에 훈련된 네트워크에서 방법의 성능을 검증하였으며, 압축 감지 및 전역 최적해 복구에서 향상된 성능을 보였다.

실험 결과

연구 질문

• RQ1 점진적으로 훈련된 네트워크를 대상으로 반복 최적화를 수행할 경우, 최종 모델에 직접 최적화하는 것보다 입력 복구 성능이 향상되는가?
• RQ2 딥 생성 모델에서 경험적 위험 함수의 기하학적 구조는 랜덤 초기화에서 완전 훈련까지 어떻게 변화하는가?
• RQ3 전역 최소화자가 훈련 중에 안정적이고 연속적으로 변화하는 조건은 무엇인가? 이 조건이 점진적 최적화를 가능하게 하는가?
• RQ4 직접 기울기 강하가 최종 모델에서 실패할 경우에도 서핑 방법이 전역 최적해를 신뢰성 있게 찾을 수 있는가?
• RQ5 랜덤 초기화된 네트워크에서 초기 손실 표면 $f_{\theta_0}(x)$에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 랜덤으로 초기화된 ReLU 네트워크의 초기 손실 표면 $f_{\theta_0}(x)$는 잘 조절되어 있다: $x_0$와 $-x_0$의 작은 이웃 외부의 모든 점에서 내림차순 방향이 존재하므로 안정적인 최적화가 가능하다.
• 서핑은 비볼록 손실 표면에서 특히 압축 감지 및 전역 최적해 복구에서 최종 모델에 직접 기울기 강하를 적용하는 것보다 뛰어난 성능을 보이며, 우수한 수렴 성능을 달성한다.
• 이론적 분석은 확장형 ReLU 네트워크의 경우 손실 표면이 매끄럽게 변화함을 확인하여 점진적 최적화 전략의 타당성을 뒷받침한다.
• 투영 기울기 강하는 ReLU 네트워크의 조각별 이차 표면을 탐색하는 데 효과적이지만, 실무에서는 단순 기울기 강하로도 충분히 성능을 발휘한다.
• 실험 결과 서핑은 직접 최적화가 실패할 경우에도 수렴성을 유지함을 보여주며, VAE 및 GAN 아키텍처 전반에서 뛰어난 강건성을 입증한다.
• 이 방법은 전역 최소화자가 훈련과 함께 연속적으로 변화한다고 가정한다; 최소화자의 불연속성은 알고리즘의 효과성을 해칠 수 있다.