[논문 리뷰] An Approximate Shapley-Folkman Theorem

Thomas Kerdreux, Igor Colin외 1명|arXiv (Cornell University)|2017. 12. 22.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 7

한 줄 요약

이 논문은 비볼록 분리형 최적화 문제에서 이중성 간격을 줄이기 위해 원뿔 표현에서 제어 가능한 근사 오차를 允허하는 약간의 Shapley-Folkman 정리의 근사적 형태를 제시한다. 고비율 표본 추출 버전의 Maurey의 근사 Carathéodory 보조정리와 약간의 Helly 정리(제약 조건에 대해)를 활용하여, 특히 유한합 문제인 경험 위험 최소화와 다중 작업 학습에서 수렴하는 바에 따라 수렴하는 안정적이고 더 날카운 bound를 유도한다.

ABSTRACT

The Shapley-Folkman theorem shows that Minkowski averages of uniformly bounded sets tend to be convex when the number of terms in the sum becomes much larger than the ambient dimension. In optimization, Aubin and Ekeland [1976] show that this produces an a priori bound on the duality gap of separable nonconvex optimization problems involving finite sums. This bound is highly conservative and depends on unstable quantities, and we relax it in several directions to show that non convexity can have a much milder impact on finite sum minimization problems such as empirical risk minimization and multi-task classification. As a byproduct, we show a new version of Maurey's classical approximate Carathéodory lemma where we sample a significant fraction of the coefficients, without replacement, as well as a result on sampling constraints using an approximate Helly theorem, both of independent interest.

연구 동기 및 목표

• 비볼록 유한합 최적화 문제에서 고전적 이중성 간격 한계가 불안정한 양상에 의존하는 보수적인 성향을 해결하기 위해.
• 제어 가능한 근사 오차를 통해 정확한 볼록화 요구 조건을 완화함으로써, 더 안정적이고 날카운 이중성 간격 bound를 개발하기 위해.
• 비볼록 제약 조건이 있는 분리형 문제로 Shapley-Folkman 프레임워크를 확장하여 더 넓은 적용 가능성을 확보하기 위해.
• 무작위 표본 추출(비복원)을 사용한 새로운 고비율 표본 추출 버전의 Maurey의 근사 Carathéodory 보조정리를 도출하여 근사 효율성을 향상시키기 위해.
• 약간의 Helly 정리를 사용한 제약 조건 표본 추출 결과를 유도하여, 이중성 간격 bound에서 활성 제약 조건의 수를 줄이기 위해.

제안 방법

• 집합의 미량합에서 근사 오차와 이중성 간격 사이의 트레이드오프를 允허하는 약간의 Shapley-Folkman 정리를 제안한다.
• 비복원 표본 추출(serfling, bardenet et al., schneider)의 결과에서 유도된 Maurey의 근사 Carathéodory 보조정리의 고비율 표본 추출 버전을 사용하여, 상당한 비율의 계수를 표본 추출한다.
• 약간의 Helly 정리(Adiprasito et al., 2019)를 적용하여 제약 조건을 표본 추출함으로써, 이중성 간격 bound에서 활성 제약 조건의 수를 줄인다.
• 안정된 양상—특히 비볼록성의 sup-노름(ρ(f_i), ρ(g_i))—에 의존하는 이중 문제 bound를 도출한다.
• 근사 오차 하에서 이중성 간격을 분석하기 위해 원형 및 이중 문제의 변형(‘h_cP’ 및 ‘h_cD’)을 도입한다.
• 계수(λ_ij)의 유한한 범위를 가진 원뿔 표현을 사용하여 이중성 간격을 제어하며, 각 함수당 비단위 가중치의 수는 m+2로 제한된다.

실험 결과

연구 질문

• RQ1 Aubin과 Ekeland(1976)에서 제시된 고전적 이중성 간격 한계는 최적점의 원뿔 표현에서 약간의 근사 오차를 허용함으로써 향상시킬 수 있는가?
• RQ2 비복원으로 상당한 비율의 계수를 표본 추출할 경우 Maurey 유형 표현에서 근사 품질에 어떤 영향을 미치는가?
• RQ3 약간의 Helly 정리를 사용하여 제약 조건 표본 추출을 어떻게 형식화할 수 있는가? 이는 이중성 간격 bound에서 활성 제약 조건의 수를 줄이는 데 기여한다.
• RQ4 정확한 볼록 hull이 아닌 안정적인 비이상적 양상—예를 들어 비볼록성의 sup-노름—을 사용하여 이중성 간격을 얼마나 잘 제한할 수 있는가?
• RQ5 이러한 개선 사항은 경험 위험 최소화나 다중 작업 학습과 같은 실질적인 유한합 문제에서 이중성 간격에 어떤 영향을 미치는가?

주요 결과

• 분리형 비볼록 문제에서의 이중성 간격은 비볼록성 측정치 ρ(f_i) 및 ρ(g_i)의 합에 비례하는 항과 표본 추출 오차 및 제약 조건 근사에 의존하는 잔차항에 의해 제한된다.
• 이중성 간격의 bound는 안정된 양상—특히 비볼록성의 sup-노름—에 의해 표현되어 고전적 bound보다 더 강건하다.
• 약간의 Helly 정리를 통해 이중성 간격 bound에서 활성 제약 조건의 수가 감소하여 더 날카우며 더 해석 가능한 bound를 이끌어낸다.
• 고비율 표본 추출 버전의 Maurey 보조정리를 도출하여, 비복원으로 상당한 비율의 계수를 표본 추출할 경우 근사 효율성이 향상됨을 보여준다.
• 다중 작업 학습 및 경험 위험 최소화 문제에서, 작업 수나 표본 수가 증가함에 따라 비볼록성 조건 하에서도 이중성 간격은 점차적으로 사라진다.
• 이중성 간격 bound의 잔차 오차는 √m(R_v + R_λ M_V)γ에 의해 제어되며, 여기서 R_v 및 R_λ는 단위 가중치에서의 이탈을 측정하고, M_V는 가중합의 노름을 유계로 제한한다.