[논문 리뷰] Towards Gradient-based Bilevel Optimization with Non-convex Followers and Beyond

Risheng Liu, Yaohua Liu외 2명|arXiv (Cornell University)|2021. 10. 01.

Sparse and Compressive Sensing Techniques인용 수 1

한 줄 요약

이 논문은 하위 수준의 볼록성(LLL) 가정 없이 비볼록 후속 문제를 그래디언트 기반으로 해결할 수 있도록 하는 새로운 이중 최적화 프레임워크인 IAPTT-GM을 제안한다. 초기화 보조 항과 비관적인 궤적 절단을 통해 원래의 BLO 해에 수렴하고 이론적 보장을 제공하며, LLL 조건 하에서 수렴성과 가속된 역학적 특성을 경험적으로 검증한다.

ABSTRACT

In recent years, Bi-Level Optimization (BLO) techniques have received extensive attentions from both learning and vision communities. A variety of BLO models in complex and practical tasks are of non-convex follower structure in nature (a.k.a., without Lower-Level Convexity, LLC for short). However, this challenging class of BLOs is lack of developments on both efficient solution strategies and solid theoretical guarantees. In this work, we propose a new algorithmic framework, named Initialization Auxiliary and Pessimistic Trajectory Truncated Gradient Method (IAPTT-GM), to partially address the above issues. In particular, by introducing an auxiliary as initialization to guide the optimization dynamics and designing a pessimistic trajectory truncation operation, we construct a reliable approximate version of the original BLO in the absence of LLC hypothesis. Our theoretical investigations establish the convergence of solutions returned by IAPTT-GM towards those of the original BLO without LLC. As an additional bonus, we also theoretically justify the quality of our IAPTT-GM embedded with Nesterov's accelerated dynamics under LLC. The experimental results confirm both the convergence of our algorithm without LLC, and the theoretical findings under LLC.

연구 동기 및 목표

• 비볼록 후속 문제(LLL 가정 없음)에 대한 효율적인 해법 전략과 이론적 보장의 부족을 해결한다.
• 하위 수준의 볼록성 가정이 없을 경우에도 원래 이중 최적화 문제의 신뢰할 수 있는 근사치를 개발한다.
• 비볼록 후속 문제의 구조가 존재하는 조건 하에서 제안된 알고리즘의 수렴성을 원래 이중 최적화 문제의 해로 보장한다.
• LLL 조건 하에서 알고리즘의 가속 버전의 성능을 이론적으로 정당화한다.
• 경험적 실험을 통해 알고리즘의 수렴성과 이론적 결과를 검증한다.

제안 방법

• 하위 수준의 볼록성 부재 조건 하에서 최적화 역학을 이끌기 위해 초기화 보조 항을 도입한다.
• 하위 수준 최적화 경로의 안정성과 근사성을 향상시키기 위해 비관적인 궤적 절단 연산을 설계한다.
• 후속 문제가 비볼록일 경우에도 유효한 신뢰할 수 있는 근사 이중 최적화 문제 설정을 구성한다.
• LLL 조건 하에서 수렴 속도 향상을 위해 Nesterov의 가속 동역학을 프레임워크에 통합한다.
• 절단된 하위 수준 궤적에 기반한 그래디언트 기반 업데이트를 상위 수준 최적화에 통합한다.
• 이론적 분석은 궤적 절단으로 인한 오차를 경계하고 원래 BLO 해로의 수렴을 보여준다.

실험 결과

연구 질문

• RQ1 후속 문제의 비볼록성 조건 하에서도 효과적인 그래디언트 기반 이중 최적화 방법을 개발할 수 있는가?
• RQ2 하위 수준의 볼록성 가정 없이도 상위 수준 해가 원래 이중 최적화 문제의 해로 수렴할 수 있도록 보장할 수 있는가?
• RQ3 LLL 조건 하에서 제안된 프레임워크에 Nesterov의 가속 동역학을 통합할 경우 어떤 영향을 미치는가?
• RQ4 하위 수준 문제의 볼록성 부재 조건 하에서도 제안된 방법이 신뢰성과 수렴성을 유지할 수 있는가?
• RQ5 초기화 보조 항과 궤적 절단이 이중 최적화 과정의 안정성에 어떤 기여를 하는가?

주요 결과

• IAPTT-GM 알고리즘은 하위 수준의 볼록성 가정 없이도 원래 이중 최적화 문제의 해로 수렴한다.
• 이론적 분석을 통해 IAPTT-GM이 반환하는 해가 LLL 조건이 없을 경우에도 원래 BLO 문제의 진정한 해로 수렴한다는 것을 확인한다.
• LLL 조건 하에서 IAPTT-GM의 내장된 Nesterov-가속 버전은 이론적으로 정당화되며 수렴 속도 향상을 보여준다.
• 경험적 결과는 IAPTT-GM이 비볼록 후속 문제 설정에서도 수렴함을 확인하며 이론적 주장과 일치함을 입증한다.
• 후속 문제의 비볼록성 조건이 존재하는 실질적 이중 최적화 과제에서 제안된 방법은 강건성과 신뢰성을 보여준다.