[논문 리뷰] Truncated Back-propagation for Bilevel Optimization

Amirreza Shaban, Ching-An Cheng외 2명|arXiv (Cornell University)|2018. 10. 25.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 18

한 줄 요약

이 논문은 하이퍼파ram터 튜닝과 메타러닝에서 이중 최적화 문제를 위한 절단된 역방향 미분(K-RMD)을 제안한다. K-RMD는 하위 최적화를 통한 역전파를 K단계로 제한하여 기울기를 근사한다. 지역 강력 볼록성 조건 하에서 이론적 수렴성을 확립하고, 실험적으로는 전체 역전파 대비 반으로 계산 시간을 단축하고 메모리 사용량을 크게 줄이며 유사한 성능을 달성함을 보였다.

ABSTRACT

Bilevel optimization has been recently revisited for designing and analyzing algorithms in hyperparameter tuning and meta learning tasks. However, due to its nested structure, evaluating exact gradients for high-dimensional problems is computationally challenging. One heuristic to circumvent this difficulty is to use the approximate gradient given by performing truncated back-propagation through the iterative optimization procedure that solves the lower-level problem. Although promising empirical performance has been reported, its theoretical properties are still unclear. In this paper, we analyze the properties of this family of approximate gradients and establish sufficient conditions for convergence. We validate this on several hyperparameter tuning and meta learning tasks. We find that optimization with the approximate gradient computed using few-step back-propagation often performs comparably to optimization with the exact gradient, while requiring far less memory and half the computation time.

연구 동기 및 목표

• 이중 최적화에서 내재된 최적화 구조로 인해 정확한 기울기 계산이 매우 비싸다는 문제를 해결하기 위해.
• 절단된 역전파, 특히 K단계 역방향 자동미분(K-RMD)의 이론적 성질을 분석하기 위해.
• K-RMD가 상위 목표 함수의 근사 또는 정확한 정류점으로 수렴할 수 있는 충분한 조건을 규명하기 위해.
• K-RMD가 전체 역전파와 유사한 성능을 내며 계산 시간과 메모리 사용량을 크게 줄이는지 경험적으로 검증하기 위해.

제안 방법

• 하위 문제의 반복적 해법을 통해 K단계만 역전파하는 절단된 역방향 자동미분 기법인 K-RMD를 제안한다.
• 은닉 미분과 하위 최적화 알고리즘의 동역학을 통한 자동미분을 이용해 근사 기울기를 계산한다.
• 하위 문제의 해의 주변에서 국소적으로 강력 볼록할 경우, 기울기 근사 오차가 K에 따라 지수적으로 감소함을 보여 이론적 수렴성을 확립한다.
• 신경망을 사용한 Omniglot 데이터셋에서 50에피소드 메타학습 설정을 통해 하이퍼파ram터 최적화 및 메타러닝 과제에 방법을 적용한다.
• K-RMD, 전체 RMD, 1-RMD를 경험적으로 비교하여 다양한 하이퍼반복 및 역방향 깊이에서 정확도, 학습 시간, 메모리 사용량을 측정한다.
• 기울기 근사 오차의 이론적 감쇠 특성을 검증하기 위해 근사 기울기와 정확한 기울기 간의余弦 유사도와 상대 ℓ₂ 오차를 측정한다.

실험 결과

연구 질문

• RQ1 이중 최적화에서 K-RMD가 상위 목표 함수의 근사 정류점으로 수렴하는 조건은 무엇인가?
• RQ2 K-RMD의 기울기 근사 오차는 역방향 깊이 K가 증가함에 따라 지수적으로 감소하는가? 어떤 가정 하에 성립하는가?
• RQ3 K-RMD의 성능은 일반화 오차 및 정확도와 같은 응용 지표에서 전체 역방향 미분(Full RMD)과 비교해 어떻게 되는가?
• RQ4 실제로 K-RMD는 계산 시간과 메모리 사용량을 줄이면서 전체 RMD와 유사한 성능을 달성할 수 있는가?
• RQ5 기울기 근사 오차의 지수 감쇠 현상은 경험적으로 관찰되며, 하위 문제의 국소 강력 볼록성에 의존하는가?

주요 결과

• Omniglot 데이터셋에서 K-RMD는 전체 RMD와 유사한 테스트 정확도를 달성하였으며, 10-RMD는 15,000개의 하이퍼반복 동안 97.8%의 정확도를 기록했다.
• K=10인 절단된 역전파로 반복당 계산 시간을 0.7초로 단축시켰고, 전체 RMD의 2.2초 대비 약 3배 빠른 성능을 보였다.
• 정규화된 모델에서 K-RMD와 전체 RMD 기울기 간의 상대 ℓ₂ 오차는 K가 증가함에 따라 지수적으로 감소하여, 강력 볼록성 조건 하에서 이론적 지수 감쇠가 확인되었다.
• 학습 전반에 걸쳐 근사 기울기와 정확한 기울기 간의 여유도 유사도가 양수를 유지하여, K-RMD 기울기가 내림방향임을 시사한다.
• 반복당 수렴 속도는 더 빠르지만, 1-RMD는 깊이가 더 깊은 K-RMD 버전에 비해 정확도가 낮았으며, 이는 짧은 수렴 수렴 기간이 성능을 제한함을 시사한다.
• 10-RMD를 15,000개의 하이퍼반복 동안 실행하는 것이 전체 RMD를 5,000회 실행하는 것보다 더 빠르며, 실질적으로 절단된 방법이 더 효율적임을 보였다.