[논문 리뷰] On $\ell_p$-hyperparameter Learning via Bilevel Nonsmooth Optimization

Takayuki Okuno, Akiko Takeda외 2명|arXiv (Cornell University)|2018. 06. 05.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 4

한 줄 요약

이 논문은 비볼록, 비연속적인 하위 문제를 다루기 위해 스무딩 유형의 방법을 사용하는 이중 최적화를 통해 $β_p$-정규화 학습에서 하이퍼파rameter 선택을 위한 이론적으로 보장된 알고리즘을 제안한다. 이 방법은 최적성 조건(SB-KKT)으로 수렴하며, 다양한 데이터셋에서 베이지안 최적화와 격자 탐색보다 효율성과 확장성 면에서 뛰어나다.

ABSTRACT

We propose a bilevel optimization strategy for selecting the best hyperparameter value for the nonsmooth $\ell_p$ regularizer with $0

연구 동기 및 목표

• 비볼록, 비연속적인 $β_p$-정규화 학습 문제에서 하이퍼파rameter 선택을 위한 이론적 알고리즘이 부족한 문제를 해결하기 위해.
• 상위 문제는 검증 오차를 최소화하고 하위 문제는 $β_p$-정규화 학습 문제를 해결하는 이중 최적화 프레임워크를 개발하기 위해.
• 비연속, 비볼록 $β_p$-정규화자를 포함하는 이중 문제에 대한 새로운 필수 최적성 조건—SB-KKT—를 수립하기 위해.
• 이러한 이중 문제에 대해 전역 수렴 보장을 갖는 스무딩 기반 알고리즘을 설계하기 위해.
• 베이지안 최적화와 격자 탐색과의 비교에서 하이퍼파ram터 튜닝 성능이 뛰어나다는 것을 경험적으로 입증하기 위해.

제안 방법

• 하위 문제의 비연속적인 $β_p$-정규화자를 다루기 위해 스무딩 유형의 알고리즘을 제안하여 기울기 기반 최적화를 가능하게 한다.
• 이중 문제에 대한 새로운 필수 최적성 조건으로 스무딩 기반 KKT(SB-KKT) 조건을 도입한다.
• 라인 서치가 필요 없이 스무딩된 하위 문제를 해결하기 위해 수정된 뉴턴 유형의 방법(알고리즘 B.2)을 사용한다.
• 상위 목표 함수는 검증 오차이고 하위 목표 함수는 $β_p$-정규화 학습 목표 함수인 이중 최적화 프레임워크를 적용한다.
• 원래의 비연속 문제를 근사하기 위해 점차 감소시키는 스무딩 파ram터 $\mu$를 사용한다.
• 약한 가정 하에 알고리즘의 반복점이 SB-KKT 조건을 만족하는 점으로 집적됨을 보여주는 수렴 보장을 유도한다.

실험 결과

연구 질문

• RQ1 비볼록, 비연속적인 $β_p$-정규화 학습 문제에서 $0 < p \leq 1$일 때 이론적으로 보장된 알고리즘을 개발할 수 있는가?
• RQ2 비연속, 비볼록 $β_p$-정규화자를 포함하는 이중 문제에 대한 필수 최적성 조건은 무엇인가?
• RQ3 스무딩 기반 접근법이 이러한 이중 문제에 대해 전역 수렴을 달성할 수 있는가?
• RQ4 제안된 알고리즘이 베이지안 최적화와 격자 탐색보다 효율성과 정확성 면에서 어떻게 비교되는가?
• RQ5 이 알고리즘은 다수의 하이퍼파rameter와 대규모 데이터셋을 포함하는 문제에 대해 확장 가능한가?

주요 결과

• 약한 가정 하에 제안된 알고리즘이 새로 유도된 SB-KKT 조건을 만족하는 점으로 수렴함을 보여주며, 이는 이중 $β_p$-하이퍼파rameter 학습에 대해 이론적 보장을 제공하는 첫 사례이다.
• 13개의 하이퍼파ram터를 가진 CpuSmall 데이터셋에서, 알고리즘은 단 0.66초 만에 검증 오차 $1.285 \times 10^5$를 달성했고, 베이지안 최적화는 더 나쁜 값을 얻기까지 531.8초가 소요되었다.
• 273개의 하이퍼파라미터를 가진 Student 데이터셋에서, 알고리즘은 1.45초 만에 검증 오차 0.771을 달성했고, 베이지안 최적화는 26.76초가 걸려 18.324에 도달했다.
• p=1인 Facebook 데이터셋에서, 알고리즘은 17.4초 만에 검증 오차 6.474를 달성했고, 베이지안 최적화는 42.26초가 걸려 6.476에 도달했다.
• 알고리즘은 베이지안 최적화와 격자 탐색보다 더 빠르게 더 좋은 또는 유사한 해를 찾았으며, 고비용의 라인 서치 절차가 필요 없었다.
• 보조 결과는 제안된 알고리즘이 확장된 시간 제한 하에서도 베이지안 최적화보다 더 일찍 최고의 해를 찾는 경향이 있음을 보여준다.