[논문 리뷰] A Value-Function-based Interior-point Method for Non-convex Bi-level Optimization

Risheng Liu, Xuan Liu외 3명|arXiv (Cornell University)|2021. 06. 15.

Sparse and Compressive Sensing Techniques참고 문헌 35인용 수 4

한 줄 요약

이 논문은 비볼록 이중 최적화 문제를 효율적으로 해결하기 위한 새로운 기울기 기반 방법인 BVFIM을 제안한다. 이 방법은 하위 문제의 값 함수 기반 로그-바리어 내점법을 사용하여 이중 최적화 문제를 매끄럽고 비제약적인 하위문제의 시퀀스로 변환한다. 헤시안 또는 야코비안-벡터 곱의 계산을 피하고 볼록성 가정 없이 수렴성을 입증함으로써, BVFIM은 하이퍼파ram터 최적화 및 데이터 하이퍼클레닝과 같은 비볼록 과제에서 뛰어난 효율성과 강건성을 달성한다.

ABSTRACT

Bi-level optimization model is able to capture a wide range of complex learning tasks with practical interest. Due to the witnessed efficiency in solving bi-level programs, gradient-based methods have gained popularity in the machine learning community. In this work, we propose a new gradient-based solution scheme, namely, the Bi-level Value-Function-based Interior-point Method (BVFIM). Following the main idea of the log-barrier interior-point scheme, we penalize the regularized value function of the lower level problem into the upper level objective. By further solving a sequence of differentiable unconstrained approximation problems, we consequently derive a sequential programming scheme. The numerical advantage of our scheme relies on the fact that, when gradient methods are applied to solve the approximation problem, we successfully avoid computing any expensive Hessian-vector or Jacobian-vector product. We prove the convergence without requiring any convexity assumption on either the upper level or the lower level objective. Experiments demonstrate the efficiency of the proposed BVFIM on non-convex bi-level problems.

연구 동기 및 목표

• 기계학습 응용 분야에서 비볼록 이중 최적화 문제를 효율적으로 해결하는 데 도전한다.
• 상위 또는 하위 목적이 볼록이 아니라는 제약 조건이 있는 기존 기울기 기반 방법의 한계를 극복한다.
• 상위 또는 하위 목적이 비볼록인 이중 최적화 문제에 대해 확장 가능하고 수렴 보장이 되는 알고리즘을 개발한다.
• 하이퍼파ram터 튜닝, 신경망 아키텍처 탐색, 메타학습과 같은 계층적 학습 과제에서 효과적인 최적화를 가능하게 한다.
• 최소한의 가정 하에 이론적 수렴 보장을 제공하며, 하위 문제의 유일한 해가 필요하지 않다.

제안 방법

• 하위 문제의 값 함수를 사용하여 이중 최적화 문제를 재구성함으로써 하위 문제의 최적성 조건을 상위 목적 함수에 통합한다.
• 정규화된 값 함수에 로그-바리어 페널티를 적용하여 타당성을 강제함으로써 제약이 있는 이중 최적화 문제를 매끄럽고 비제약적인 하위문제의 시퀀스로 변환한다.
• 하위 문제의 값 함수에 정규화 기법을 적용하여 미분 가능성과 수치적 안정성을 확보한다.
• 헤시안-벡터 또는 야코비안-벡터 곱의 계산 없이도 기울기 기반 방법을 사용하여 결과로 얻어진 매끄러운 하위문제를 해결한다.
• 수렴과 정확성의 균형을 맞추기 위해 반복 과정에서 감소하는 적응형 페널티 파라미터 전략을 도입한다.
• 암시 함수 정리와 스무딩 기법을 활용하여 미분 가능성 유지 및 효율적인 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 상위 또는 하위 목적이 비볼록일 경우에도 볼록성 조건 없이 기울기 기반 방법을 설계할 수 있는가?
• RQ2 헤시안 또는 야코비안-벡터 곱의 계산 비용을 피하면서도 수렴성을 유지할 수 있는가?
• RQ3 제안된 값 함수 기반 내점법은 기존 기울기 기반 방법과 수렴 속도 및 해의 질에서 어떻게 비교되는가?
• RQ4 정규화와 페널티 파라미터 적응 전략이 수렴 행동과 최종 해 품질에 미치는 영향은 무엇인가?
• RQ5 이 방법은 데이터 하이퍼클레닝 및 하이퍼파ram터 최적화와 같은 실제 비볼록 이중 최적화 과제를 효과적으로 처리할 수 있는가?

주요 결과

• BVFIM은 상위 또는 하위 목적이 비볼록일 경우에도 이중 최적화 문제의 정류점으로 수렴함을 입증하였다.
• 기존 기울기 기반 접근 방식과 비교해 헤시안-벡터 또는 야코비안-벡터 곱의 계산을 피함으로써 계산 오버헤드를 크게 감소시켰다.
• 손상된 레이블을 가진 FashionMNIST 데이터셋에서 BVFIM은 테스트 F1 스코어 91.19%를 기록하여 EGBM(88.24%)과 IGBM(84.31%)를 모두 초월했으며, 정확도와 학습 시간 측면에서 뛰어난 성능을 보였다.
• 하이퍼파ram터 최적화 과제에서는 더 빠른 수렴과 더 나은 일반화 성능을 보였으며, 특히 고차원 하위 목표 변수를 가진 CIFAR10과 같은 대규모 데이터셋에서 두드러졌다.
• 실험 결과, 감소하는 정규화 파라미터 전략이 최적의 수렴을 이끌어내며, 고정 또는 0에 가까운 정규화는 상위 변수에서 성능 저하를 초래함을 확인하였다.
• 상위 변수 x에 대한 수렴 속도는 내부 반복 횟수 L의 값에 민감하게 영향을 받는다. 작은 L 값(예: L=1)은 상위 변수 x에 대한 수렴 속도를 빠르게 하여 x*가 주요 목표일 경우 적합하다.