[논문 리뷰] Optimal approximation for unconstrained non-submodular minimization

Marwa El Halabi, Stefanie Jegelka|arXiv (Cornell University)|2019. 05. 29.

Complexity and Algorithms in Graphs참고 문헌 60인용 수 6

한 줄 요약

이 논문은 라브라스 확장과 투영된 서브기울기 방법(PGM)을 활용하여 비제약 비하위모듈러 최소화 문제에 대해 처음으로 근사 보장을 제시한다. PGM는 $ H(S) \leq \frac{F(S^*)}{\alpha} - \beta G(S^*) + \epsilon $라는 날카운 근사 경계를 달성함을 보이며, 여기서 $\alpha$와 $\beta$는 하위모듈러성 및 초모듈러성에의 가까움을 측정한다. 결과는 일치하는 하한을 통해 최적임이 확인되었고, 노이즈 있는 함수 평가에도 확장 가능하다.

ABSTRACT

Submodular function minimization is well studied, and existing algorithms solve it exactly or up to arbitrary accuracy. However, in many applications, such as structured sparse learning or batch Bayesian optimization, the objective function is not exactly submodular, but close. In this case, no theoretical guarantees exist. Indeed, submodular minimization algorithms rely on intricate connections between submodularity and convexity. We show how these relations can be extended to obtain approximation guarantees for minimizing non-submodular functions, characterized by how close the function is to submodular. We also extend this result to noisy function evaluations. Our approximation results are the first for minimizing non-submodular functions, and are optimal, as established by our matching lower bound.

연구 동기 및 목표

• 구조적 희소 학습 및 배치 베이지안 최적화와 같은 응용에서 나타나는 비하위모듈러 함수 최소화에 이론적 보장이 부족한 문제를 해결하기 위해.
• 함수가 하위모듈러성에 얼마나 가까운지에 따라 근사 품질을 특성화함으로써, 하위모듈러 최소화 기법을 비하위모듈러 함수로 확장하기 위해.
• 노이즈 없는 및 노이즈 있는 함수 평가 조건 하에서 비제약 비하위모듈러 최소화에 대해 처음으로 근사 보장을 제공하기 위해.
• 가치 오라클 모델에서 일치하는 하한을 통해 제안된 근사의 최적성을 확립하기 위해.
• 구조적 희소 학습과 배치 베이지안 최적화에서의 분산 감소에 응용하여 실용적 적용 가능성을 입증하기 위해.

제안 방법

• 일반적인 집합 함수 $ H(S) = F(S) - G(S) $를 $ F $와 $ G $로 분해하며, $ F $는 $\alpha$-약한 DR-하위모듈러이고 $ G $는 $\beta$-약한 DR-초모듈러이다.
• 근사 하위모듈러 함수에 대한 볼록 근사로 라브라스 확장을 사용하여 볼록 최적화 기법을 가능하게 한다.
• 라브라스 확장을 최소화하기 위해 투영된 서브기울기 방법(PGM)을 적용하여 원래의 비하위모듈러 문제에 대한 근사해를 도출한다.
• 해의 품질을 하위모듈러성 및 초모듈러성에서의 이탈 정도를 측정하는 매개변수 $\alpha$와 $\beta$와 연결함으로써 근사 경계를 수립한다.
• 노이즈가 있는 함수 평가를 다루기 위해 노이즈가 PGM 수렴과 근사 오차에 미치는 영향을 분석함으로써 프레임워크를 확장한다.
• 근사 보장을 향상시키기 위해서는 오라클 모델에서 지수적으로 많은 쿼리가 필요하므로, 보다 나은 근사 보장은 불가능함을 보여주는 일치하는 하한을 증명한다.

실험 결과

연구 질문

• RQ1 하위모듈러 최소화 기법을 이론적 근사 보장 하에 비하위모듈러 함수로 확장할 수 있는가?
• RQ2 비제약 비하위모듈러 최소화에 대해 달성 가능한 가장 날카운 근사 보장은 무엇이며, 하위모듈러성 정도에 따라 어떻게 달라지는가?
• RQ3 노이즈 있는 함수 평가가 비하위모듈러 최소화의 근사 품질에 미치는 영향은 무엇인가?
• RQ4 라브라스 확장은 비하위모듈러 함수에 대해 효과적인 볼록 근사로 사용될 수 있는가?
• RQ5 제안된 근사 경계는 최적인가, 아니면 더 적은 쿼리로 개선 가능한가?

주요 결과

• 라브라스 확장을 대상으로 투영된 서브기울기 방법(PGM)을 적용한 결과, 비제약 비하위모듈러 최소화에 대해 처음으로 근사 경계 $ H(S) \leq \frac{F(S^*)}{\alpha} - \beta G(S^*) + \epsilon $를 확보하였다.
• 일치하는 하한을 통해 근사 경계가 최적임이 입증되었으며, 이를 향상시키기 위해서는 오라클 모델에서 지수적으로 많은 값 쿼리가 필요하다.
• 노이즈 있는 함수 평가 조건으로도 확장 가능하며, 유한한 노이즈 조건 하에서 근사 보장을 유지하며, 노이즈 조건 하에서 PGM의 수렴성과 오차 경계를 유도하였다.
• 이 프레임워크는 구조적 희소 학습과 배치 베이지안 최적화에서의 분산 감소에 대해 처음으로 근사 보장을 제공하며, 이는 모두 비하위모듈러 목표 함수를 포함한다.
• 실험 결과는 고전적인 하위모듈러 최소화 알고리즘이 비하위모듈러성과 노이즈에 대해 여전히 강건함을 확인하였으며, 이는 이론적 결과를 검증한다.
• 모든 집합 함수는 항상 $\alpha$-약한 DR-하위모듈러 및 $\beta$-약한 DR-초모듈러 성분으로 분해 가능하지만, 함수가 하위모듈러성에서 벗어날수록 근사 품질은 악화된다.