[논문 리뷰] Non-greedy Gradient-based Hyperparameter Optimization Over Long Horizons

Paul Micaelli, Amos Storkey|arXiv (Cornell University)|2021. 05. 04.

Advanced Neural Network Applications참고 문헌 29인용 수 8

한 줄 요약

이 논문은 연속된 하이퍼파ram터를 공유하고 하이퍼그라디언트의 부호를 사용해 수렴을 탐지함으로써 장기 시계열 작업을 위한 비그리디티, 기울기 기반 하이퍼파ram터 최적화 방법을 제안한다. 이 방법은 약 10⁴개의 내부 단계에서 약 10개의 외부 단계만으로도 효과적인 메타학습을 가능하게 하며, 동일한 계산 예산 내에서 CIFAR-10에서 그레디와 무작위 탐색보다 약 10% 높은 성능을 달성한다.

ABSTRACT

Gradient-based meta-learning has earned a widespread popularity in few-shot learning, but remains broadly impractical for tasks with long horizons (many gradient steps), due to memory scaling and gradient degradation issues. A common workaround is to learn meta-parameters online, but this introduces greediness which comes with a significant performance drop. In this work, we enable non-greedy meta-learning of hyperparameters over long horizons by sharing hyperparameters that are contiguous in time, and using the sign of hypergradients rather than their magnitude to indicate convergence. We implement this with forward-mode differentiation, which we extend to the popular momentum-based SGD optimizer. We demonstrate that the hyperparameters of this optimizer can be learned non-greedily without gradient degradation over ∼104 inner gradient steps, by only requiring ∼10 outer gradient steps. On CIFAR-10, we outperform greedy and random search methods for the same computational budget by nearly 10%. Code will be available upon publication.

연구 동기 및 목표

• 기울기 기반 메타학습이 기억 공간 증가와 기울기 감쇠로 인해 장기 시계열 작업에서 성능이 떨어지는 문제를 해결하기 위해.
• 긴 순서에서 그레디티 온라인 메타학습으로 인한 성능 저하를 극복하기 위해.
• 기울기 감쇠 없이도 장기간의 내부 경로에서 비그리디티 하이퍼파라미터 최적화를 가능하게 하기 위해.
• 장기 시계열 적응을 위해 최소한의 외부 최적화 단계만을 요구하는 확장 가능한 방법을 개발하기 위해.
• 효율적인 계산을 통해 장기 시계열 few-shot 학습에서 최고 수준의 성능을 입증하기 위해.

제안 방법

• 기울기 복잡도를 줄이기 위해 하이퍼파라미터를 연속된 시간 단계 간에 공유한다.
• 기울기의 크기 대신 기울기의 부호를 사용해 수렴을 탐지함으로써 비그리디티 업데이트를 가능하게 한다.
• 전방 미분을 활용해 하이퍼기울기를 효율적으로 계산함으로써 모멘텀 기반 SGD로 확장한다.
• 하이퍼파라미터의 시간 연속성을 활용해 장기 시계열 최적화의 안정성을 높인다.
• 외부 최적화는 약 10단계로 약 10⁴개의 내부 기울기 단계 동안 하이퍼파라미터를 효과적으로 학습시킨다.
• 하이퍼기울기 신호의 크기 감쇠에 의존하지 않고 부호 일관성에 중점을 두어 기울기 감쇠를 방지한다.

실험 결과

연구 질문

• RQ1 기울기 감쇠 없이 장기 시계열에서 비그리디티 하이퍼파라미터 최적화를 달성할 수 있는가?
• RQ2 크기 기반 방법과 비교해 부호 기반 수렴 탐지가 성능에 어떻게 기여하는가?
• RQ3 장기 시계열 메타학습에서 하이퍼파라미터 공유가 기억 및 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 그레디티 또는 무작위 탐색보다 더 적은 외부 최적화 단계로도 뛰어난 성능을 달성할 수 있는가?
• RQ5 CIFAR-10과 같은 few-shot 학습 벤치마크에서 이 방법은 긴 순서에 어떻게 확장 가능한가?

주요 결과

• 기울기 감쇠 없이 약 10⁴개의 내부 기울기 단계에서 비그리디티 하이퍼파라미터 최적화를 달성한다.
• 장기 시계열에서 하이퍼파라미터를 효과적으로 학습하기 위해 약 10개의 외부 기울기 단계만 필요하다.
• CIFAR-10에서 동일한 계산 예산 내에서 이 방법은 그레디티 및 무작위 탐색 방법보다 약 10% 높은 성능을 보인다.
• 하이퍼기울기 부호를 사용한 수렴 탐지로 인해 크기 감쇠에 의존하지 않고도 안정적이고 비그리디티 학습이 가능하다.
• 전방 미분을 모멘텀 기반 SGD로 확장함으로써 효율적이고 확장 가능한 하이퍼기울기 계산이 가능해졌다.
• 시간 단계 간 하이퍼파라미터 공유로 인해 장기 시계열 작업에서 기억 및 계산 오버헤드가 크게 감소한다.