[논문 리뷰] Cardinality Minimization, Constraints, and Regularization: A Survey

Andreas M. Tillmann, Daniel Bienstock외 2명|arXiv (Cornell University)|2021. 06. 17.

Multi-Criteria Decision Making인용 수 10

한 줄 요약

이 종합 검토는 연속 변수에서 기수 제약 조건 또는 정규화를 포함하는 최적화 문제를 통합하고 검토하며, 희소 해를 위한 강력하고 증명 가능하게 정확한 방법으로 혼합정수계획법(MIP)의 역할을 강조한다. MIP는 문제에 특화된 통찰을 바탕으로 하여 신호 처리, 금융, 기계 학습 등 다양한 분야에서 대규모 기수 최소화 문제를 효율적으로 해결할 수 있음을 보여준다.

ABSTRACT

We survey optimization problems that involve the cardinality of variable vectors in constraints or the objective function. We provide a unified viewpoint on the general problem classes and models, and give concrete examples from diverse application fields such as signal and image processing, portfolio selection, or machine learning. The paper discusses general-purpose modeling techniques and broadly applicable as well as problem-specific exact and heuristic solution approaches. While our perspective is that of mathematical optimization, a main goal of this work is to reach out to and build bridges between the different communities in which cardinality optimization problems are frequently encountered. In particular, we highlight that modern mixed-integer programming, which is often regarded as impractical due to commonly unsatisfactory behavior of black-box solvers applied to generic problem formulations, can in fact produce provably high-quality or even optimal solutions for cardinality optimization problems, even in large-scale real-world settings. Achieving such performance typically draws on the merits of problem-specific knowledge that may stem from different fields of application and, e.g., shed light on structural properties of a model or its solutions, or lead to the development of efficient heuristics; we also provide some illustrative examples.

연구 동기 및 목표

• 목표 함수 또는 제약 조건에 연속 변수의 기수를 포함하는 다양한 문헌을 통합하고 체계화하기 위해.
• 신호 처리, 금융, 기계 학습 등 유사한 기수 문제를 다른 이름과 다양한 방법론적 접근 방식으로 연구하는 분야 간 격차를 메우기 위해.
• 기수 제약 최적화에서 히وري스틱 방법의 대안으로 현대적 혼합정수계획법(MIP)의 사용을 주장하기 위해.
• 문제에 특화된 구조적 지식이 MIP 솔버 성능을 크게 향상시켜 대규모 문제에 대해서도 증명 가능한 최적 또는 근사 최적 해를 도출할 수 있음을 강조하기 위해.
• 연구가 미흡한 분야를 식별하고, 응용 분야 및 데이터 맥락 간 알고리즘 구현의 비교 연구를 촉진하기 위해.

제안 방법

• 논문은 기수 최소화(ℓ₀-min), 기수 제약 최적화(ℓ₀-cons), 정규화 기수 문제(ℓ₀-reg)의 세 가지 핵심 유형으로 기수 문제를 분류하며, 각각 수학적 제약 조건과 목표 함수로 정형화한다.
• 기수를 최적화에 통합하기 위한 일반 목적의 모델링 기법(예: big-M 및 인디케이터 제약 조건)을 조사하고, 그들의 강점과 한계를 논의한다.
• 해결책의 구조, 희소성 패턴, 또는 기본 문제의 볼록성과 같은 문제에 특화된 지식을 활용하여 MIP 성능을 향상시키고 확장성을 확보하는 것을 강조한다.
• 정확한 방법(예: 브랜치 앤 컷, 벤더스 분해)과 히وري스틱 접근 방식(예: ℓ₁-완화, 근사 알고리즘)을 검토하며, 해 품질과 계산 자원 간의 트레이드오프를 비교한다.
• 적절한 재구성과 타당한 컷을 통해 표준 MIP 솔버를 사용한 타이트한 공식화가 히وري스틱 대안보다 더 높은 해 품질을 달성할 수 있음을 주장한다.
• 희소성(작은 k)과 기본 문제의 볼록성(ℓ₀ 항 제외)이 정확한 MIP 방법의 확장성과 해석 가능성에 크게 기여함을 강조한다.

실험 결과

연구 질문

• RQ1 신호 처리, 금융, 기계 학습 등 다양한 적용 분야에서 기수 제약 및 정규화 최적화 문제를 어떻게 체계적으로 통합할 수 있는가?
• RQ2 현대적 혼합정수계획법(MIP) 솔버가 대규모 기수 문제에 대해 히وري스틱 방법과 비교해 증명 가능한 최적 또는 고품질 해를 제공할 수 있는 정도는 어느 정도인가?
• RQ3 문제에 특화된 구조적 지식이 기수 최적화를 위한 MIP 기반 해법의 성능에 어떤 역할을 하는가?
• RQ4 기존의 계산 연구에서 알고리즘 간 공정하고 포괄적인 비교가 자주 부족한 이유는 무엇이며, 이는 분야 발전을 어떻게 저해하는가?
• RQ5 교차 분야 지식 공유와 표준화된 벤치마킹이 유의미하게 기여할 수 있는 기수 최적화의 주요 미해결 연구 방향은 무엇인가?

주요 결과

• 현대적 혼합정수계획법(MIP)은 블랙박스 솔버가 일반 공식화에서 실패할 수 있는 대규모 기수 최적화 문제에 대해 증명 가능한 최적 또는 고품질 해를 도출할 수 있다.
• 희소성(작은 k), 기본 문제의 볼록성, 또는 제약 조건 집합의 구조적 특성과 같은 문제에 특화된 지식은 MIP 솔버의 확장성과 성능을 극적으로 향상시킬 수 있다.
• 정확한 MIP 방법은 수백에서 수천 개의 변수를 가진 문제에서는 종종 효과적이며, 일부 경우에서는 수십만 개의 변수를 가진 문제에 대해서도 근사 최적 해를 도출할 수 있다.
• 히وري스틱 및 완화 기반 방법(예: ℓ₁-솔버)은 수천에서 수십만 개의 변수를 가진 문제를 처리할 수 있지만, 해 품질 보장이 없을 수 있다.
• MIP 및 히وري스틱 방법의 급속한 발전에도 불구하고, 알고리즘 및 응용 분야 간 표준화된 벤치마킹과 공정한 비교의 부족은 발전을 저해하는 주요 장애물이다.
• 향후 연구에서 소프트웨어 비교 벤치마킹 및 정확성과 확장성 향상을 위한 미해결 알고리즘 아이디어 탐색의 잠재력은 매우 크다.