[논문 리뷰] Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians

Juhan Bae, Roger Grosse|arXiv (Cornell University)|2020. 10. 26.

Advanced Neural Network Applications참고 문헌 59인용 수 9

한 줄 요약

이 논문은 양자 최적화에서 최적 반응의 자코비안을 재매개변수화와 선형화를 통해 정확하게 근사화하는 데 초점을 맞춰, 신경망 내의 이중 최적화를 향상시키는 새로운 하이퍼넷 아키텍처인 Δ-STN을 제안한다. 훈련을 안정화하고 분산을 줄임으로써, 기존의 STN과 같은 방법들에 비해 더 빠른 수렴 속도, 높은 정확도, 더 나은 일반화 성능을 달성하여 정규화 하이퍼파rameter(예: 가중치 감쇠, 드롭아웃 등)를 조정하는 데에 유리하다.

ABSTRACT

Hyperparameter optimization of neural networks can be elegantly formulated as a bilevel optimization problem. While research on bilevel optimization of neural networks has been dominated by implicit differentiation and unrolling, hypernetworks such as Self-Tuning Networks (STNs) have recently gained traction due to their ability to amortize the optimization of the inner objective. In this paper, we diagnose several subtle pathologies in the training of STNs. Based on these observations, we propose the $Δ$-STN, an improved hypernetwork architecture which stabilizes training and optimizes hyperparameters much more efficiently than STNs. The key idea is to focus on accurately approximating the best-response Jacobian rather than the full best-response function; we achieve this by reparameterizing the hypernetwork and linearizing the network around the current parameters. We demonstrate empirically that our $Δ$-STN can tune regularization hyperparameters (e.g. weight decay, dropout, number of cutout holes) with higher accuracy, faster convergence, and improved stability compared to existing approaches.

연구 동기 및 목표

• 이중 최적화를 위한 주요 하이퍼넷 아키텍처인 세프튜닝 네트워크(STNs)에서 발생하는 훈련 불안정성과 병태를 해결한다.
• 가우스-뉴턴 헤시안의 조건수를 향상시켜 이중 최적화 역학을 안정화시킨다.
• 하이퍼넷 파라미터 업데이트의 분산을 줄이고, 하이퍼넷 편향을 제거한다.
• 전체 최적 반응 함수가 아닌 최적 반응 함수의 자코비안을 정확하게 근사화하는 데에 중점을 둔다.
• 가중치 감쇠, 드롭아웃, 컷아웃 홀과 같은 정규화 하이퍼파rameter를 더 효율적이고 안정적으로 조정할 수 있도록 한다.

제안 방법

• 가우스-뉴턴 헤시안의 조건수를 향상시켜 이중 최적화 역학을 안정화시키기 위해 하이퍼넷을 재매개변수화한다.
• 하이퍼넷 업데이트의 분산을 줄이고 편향을 제거하기 위해 수정된 훈련 방식을 도입한다.
• 최적 반응 하이퍼넷을 선형화하여 최적 반응 함수의 애프린 근사화를 생성한다.
• 네트워크 파라미터와 예측 간의 의존성을 선형화하여 최적 반응 함수의 자코비안을 정확하게 근사화한다.
• 각 레이어별로 구조적 하이퍼넷을 사용하여 확장성과 효율성을 유지하며, STN과 유사하지만 훈련 안정성이 향상된 아키텍처를 구현한다.
• 하이퍼넷 파라미터에 대해 고정된 학습률을 사용하고, 초기 훈련을 안정화하기 위해 웜업 에포크를 적용한다.

실험 결과

연구 질문

• RQ1 STNs에서 훈련 불안정성이 발생하는 원인은 무엇이며, 그들의 매개변수화에서 어떤 구조적 문제들이 열악한 수렴을 유도하는가?
• RQ2 하이퍼넷을 재매개변수화하면 가우스-뉴턴 헤시안의 조건수를 향상시키고 이중 최적화를 안정화시킬 수 있는가?
• RQ3 전체 함수가 아닌 최적 반응 함수의 자코비안만 근사화할 경우, 하이퍼파rameter 조정의 안정성과 정확도가 향상되는가?
• RQ4 최적 반응 하이퍼넷을 선형화하면 수렴 속도와 일반화 성능에 어떤 영향을 미치는가?
• RQ5 다양한 작업에서 Δ-STN이 STNs와 다른 기준선들에 비해 정규화 하이퍼파rameter 조정에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• VGG16과 ResNet18에서 CIFAR-10 및 CIFAR-100에 대해 Δ-STN은 여러 시행에서 일관된 향상으로 더 높은 검증 정확도를 달성했다.
• 이미지 분류 작업에서 Δ-STN은 검증 손실을 최대 0.005 감소시켜 더 나은 일반화 성능을 보였다.
• LSTM에서의 언어 모델링 작업에서 Δ-STN은 테스트 손실 0.054를 기록하여 STN(0.058)을 능가했고, 최고의 기준선(0.054)과 동등한 안정적인 스케줄링을 제공했다.
• MLP에서 Δ-STN은 다양한 가중치 초기화 조건에서도 STN보다 더 강건하고 정확한 입력 드롭아웃 스케줄을 발견했다.
• Δ-STN은 편향 크기와 업데이트 간격의 변화에 더 강건했으며, SimpleCNN과 AlexNet에서도 STN을 능가하는 성능을 보였다.
• MLP에서의 최종 하이퍼파라미터 스케줄은 Δ-STN이 최적의 그리드 서치 결과(p=0.43)를 정확히 재현했고, STN은 동일한 최적 값으로 수렴하지 못했다.