[논문 리뷰] Fully Parallel Hyperparameter Search: Reshaped Space-Filling

Marie-Liesse Cauwet, Camille Couprie외 6명|arXiv (Cornell University)|2019. 10. 18.

Advanced Image and Video Retrieval Techniques참고 문헌 32인용 수 11

한 줄 요약

이 논문은 검색 분포를 재구성함으로써 완전히 병렬적인 하이퍼파rameter 검색 방법을 제안한다. 기존 최적 분포 $P_0$가 알려져 있을 경우 Recentering를 도입하고, 알려지지 않은 분포에는 Cauchy 변환을 적용한다. 이는 특히 고차원 및 실제 머신러닝 작업에서 수렴 속도와 성공률을 크게 향상시켜 랜덤 검색, 격자 검색, LHS 및 Hammersley와 같은 공간 충만 설계보다 뛰어나다.

ABSTRACT

Space-filling designs such as scrambled-Hammersley, Latin Hypercube Sampling and Jittered Sampling have been proposed for fully parallel hyperparameter search, and were shown to be more effective than random or grid search. In this paper, we show that these designs only improve over random search by a constant factor. In contrast, we introduce a new approach based on reshaping the search distribution, which leads to substantial gains over random search, both theoretically and empirically. We propose two flavors of reshaping. First, when the distribution of the optimum is some known $P_0$, we propose Recentering, which uses as search distribution a modified version of $P_0$ tightened closer to the center of the domain, in a dimension-dependent and budget-dependent manner. Second, we show that in a wide range of experiments with $P_0$ unknown, using a proposed Cauchy transformation, which simultaneously has a heavier tail (for unbounded hyperparameters) and is closer to the boundaries (for bounded hyperparameters), leads to improved performances. Besides artificial experiments and simple real world tests on clustering or Salmon mappings, we check our proposed methods on expensive artificial intelligence tasks such as attend/infer/repeat, video next frame segmentation forecasting and progressive generative adversarial networks.

연구 동기 및 목표

• 기존 공간 충만 설계(예: LHS, Hammersley)가 랜덤 검색에 비해 얻는 성능 향상이 제한적임을 해결하고자 한다.
• 기존 방법의 상수 요인 향상 수준을 넘어서는 성능 향상을 달성하는 완전히 병렬적인 하이퍼파rameter 검색 전략을 개발하고자 한다.
• 최적 분포 $P_0$가 알려져 있거나 근사적으로 알려져 있을 경우 실용적이고 분포 인식 기반의 샘플링 전략을 제공하고자 한다.
• 최적 분포 $P_0$가 알려지지 않았거나 잘못 추정되는 실제 시나리오, 특히 최적값이 경계 근처에 있을 경우에 대비한 강건한 방법을 설계하고자 한다.
• 인공 기준 테스트 및 GAN, 영상 예측과 같은 고비용 실제 AI 작업을 대상으로 제안된 방법의 경험적 검증을 수행하고자 한다.

제안 방법

• 기존에 알려진 $P_0$(예: 표준 정규분포)를 도메인 중심으로 조여넣는 데 사용되는 스케일링 인자 $\lambda$(차원 및 예산에 따라 결정됨)를 활용해 검색 분포를 재구성하는 Recentering 기법을 도입한다.
• 무한대에 끝부분이 두꺼운 하이퍼파rameter에 대해 꼬리의 두께를 증가시키고, 유한한 범위의 하이퍼파ram터에 대해서는 경계 근처로 샘플을 끌어당겨 모서리 회피를 향상시키는 Cauchy 변환을 제안한다.
• 공간 충만 샘플링의 기초로 스캐러블드 Hammersley 수열을 사용하며, Recentering 또는 Cauchy 변환을 통해 이를 재구성한다.
• Eq. (1)에 기반해 $\lambda$를 자동으로 선택하는 메타 최적화 전략(MetaRctg)을 도입하여 고차원에서 탐색과 이용의 균형을 맞춘다.
• 검색 공간의 대칭성을 활용하기 위해 준대칭(QO) 및 대칭(O) 샘플링 변형을 도입하여 성능을 추가로 향상시킨다.
• 합성 기준 테스트(예: Nevergrad one-shot 함수)와 실제 작업(예: 프로그레시브 GAN, 영상 예측, Salmon 매핑)을 모두 활용해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 LHS 및 Hammersley와 같은 공간 충만 설계는 랜덤 검색에 비해 확률적 산산 분산 및 수렴 속도 측면에서 어떻게 비교되는가?
• RQ2 Recentering 또는 Cauchy 변환를 통해 검색 분포를 재구성하는 것이 기존의 공간 충만 및 랜덤 검색 방법에 비해 상당한 성능 향상을 이끌 수 있는가?
• RQ3 최적 분포 $P_0$가 알려져 있을 경우 Recentering에 적합한 스케일링 인자 $\lambda$는 무엇이며, 이는 차원 $d$와 예산 $n$에 어떻게 의존하는가?
• RQ4 최적 분포 $P_0$가 알려지지 않았거나 잘못 추정된 실제 하이퍼파rameter 최적화 작업에서 Cauchy 기반 및 재스케일링 샘플링 전략은 얼마나 효과적인가?
• RQ5 최적값이 경계 근처에 있을 가능성이 높은 고차원 환경에서, 모서리 회피 능력 향상 덕분에 재구성된 분포가 저이격도 수열보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• LHS 및 Hammersley와 같은 공간 충만 설계는 랜덤 검색에 비해 상수 요인 수준의 성능 향상만을 보이며, 확률적 산산 분산 속도에 대해 점점 더 이상 향상되지 않는다.
• Eq. (1)에 의해 결정된 $\lambda$를 사용한 Recentering(MetaRctg)는 합성 기준 테스트에서 모든 테스트된 차원과 예산에서 조상 기법(예: 준대칭 샘플링 포함)을 일관되게 능가한다(표 2).
• 최적 분포 $P_0$가 알려지지 않은 실제 환경에서는 Cauchy 기반 샘플링(Cauchy-Rctg.55 등)이 $P_0$가 근사적으로 알려져 있거나 데이터가 재스케일링된 경우에도 최고 성능에 가까운 성능을 달성한다.
• 도메인 경계에 도달하도록 스캐러블드 Hammersley 수열을 재스케일링한 방법은 실제 작업에서 Cauchy-Rctg.55와 거의 유사한 성능을 보이며, 경계 커버리지의 중요성을 확인한다.
• 최적 분포 $P_0$에 대한 사전 지식이 전혀 없는 경우, Cauchy-Rctg와 재스케일링된 Hammersley가 가장 안정적이고 효과적인데, Cauchy-Rctg.55는 AIR 및 PyTorch-GAN-zoo를 포함한 다양한 작업에서 뛰어난 성능을 보였다.
• 이론적 분석을 통해 Recentering 및 Cauchy 변환 기법이 효과적인 검색 분포를 향상시켜, 공간 충만 설계가 달성할 수 있는 것보다 최적값까지의 기대 거리를 감소시킴을 확인했다.