[논문 리뷰] Robust Maximization of Non-Submodular Objectives

Ilija Bogunovic, Junyao Zhao외 1명|arXiv (Cornell University)|2018. 02. 20.

Complexity and Algorithms in Graphs참고 문헌 43인용 수 18

한 줄 요약

이 논문은 기수 제약 조건과 악성 삭제 제약 조건 하에서 단조 비하위모듈러 집합 함수의 강건한 최대화를 위한 새로운 알고리즘인 Oblivious-Greedy를 제안한다. 최대 τ = ck개의 요소가 삭제될 경우 비하위모듈러 목표 함수에 대해 처음으로 일정 요소 근사 보장을 제공하며, 이론적 경계는 하위모듈러리티 비율과 새로운 역곡률 파라미터에 의존한다. 이는 지지 선택 및 분산 감소 작업에서 검증되었다.

ABSTRACT

We study the problem of maximizing a monotone set function subject to a cardinality constraint $k$ in the setting where some number of elements $τ$ is deleted from the returned set. The focus of this work is on the worst-case adversarial setting. While there exist constant-factor guarantees when the function is submodular, there are no guarantees for non-submodular objectives. In this work, we present a new algorithm Oblivious-Greedy and prove the first constant-factor approximation guarantees for a wider class of non-submodular objectives. The obtained theoretical bounds are the first constant-factor bounds that also hold in the linear regime, i.e. when the number of deletions $τ$ is linear in $k$. Our bounds depend on established parameters such as the submodularity ratio and some novel ones such as the inverse curvature. We bound these parameters for two important objectives including support selection and variance reduction. Finally, we numerically demonstrate the robust performance of Oblivious-Greedy for these two objectives on various datasets.

연구 동기 및 목표

• 악성 요소 삭제 하에서 비하위모듈러 목표 함수의 강건한 최대화에 대한 이론적 보장이 부족한 문제를 해결하기 위해.
• 하위모듈러 함수를 초월하여 더 넓은 범위의 비하위모듈러 목표 함수에 대해 일정 요소 근사 보장을 확장하기 위해.
• 예산 k와 선형적으로 증가하는 삭제 수 τ일 때 선형 영역에서 성립하는 이론적 경계를 확보하기 위해.
• 지지 선택 및 분산 감소와 같은 실용적 목표 함수에 대해 하위모듈러리티 비율과 역곡률을 Bounds하기 위해.
• 실제 및 합성 데이터 세트에서 Oblivious-Greedy가 Greedy 및 무관 선택보다 강건성과 우수성을 실증적으로 입증하기 위해.

제안 방법

• 악성 삭제에 강건한 최악의 경우를 고려해 수정된 경계 이득 기준에 기반한 요소 선택 방식을 채택한 그레디 스타일 알고리즘인 Oblivious-Greedy를 제안한다.
• 악성 삭제 하에서 비하위모듈러 함수의 강건성 특성을 기술하기 위해 새로운 역곡률 파라미터를 도입한다.
• 하위모듈러리티 비율 γ와 역곡률을 사용해 Oblivious-Greedy의 이론적 근사 보장을 수립하며, c ∈ (0,1)인 τ = ck일 경우 일정 요소 성능을 증명한다.
• 지지 선택(비선형 매개변수화 및 강력한 볼록 함수 기반)과 분산 감소(GP 기반 목표 함수 기반)의 두 핵심 목표 함수에 대해 하위모듈러리티 비율과 역곡률을 Bounds한다.
• 다양한 τ 값에서 합성 데이터 및 MNIST에서 Greedy 및 무관 선택과의 비교를 위한 실험을 설계한다.
• 로지스틱 회귀 및 분산 감소 작업을 통해 증가하는 삭제 수에 따른 일반화 오차와 목표 함수 값의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 악성 삭제 하에서 비하위모듈러 목표 함수의 강건한 최대화에 대해 일정 요소 근사 보장을 확립할 수 있는가?
• RQ2 기존의 하위모듈러 보장이 c ∈ (0,1)인 τ = ck일 때 선형 영역으로 확장되는가?
• RQ3 역곡률과 같은 새로운 파라미터를 사용해 비하위모듈러 환경에서의 강건성을 특성화할 수 있는가?
• RQ4 하위모듈러리티 비율과 역곡률에 대한 이론적 경계가 지지 선택 및 분산 감소에서 실용적 성능으로 어떻게 번역되는가?
• RQ5 증가하는 악성 삭제 상황에서 Oblivious-Greedy가 Greedy 및 무관 선택보다 강건성과 일반화 능력에서 뛰어나게 성능을 발휘하는가?

주요 결과

• Oblivious-Greedy는 c ∈ (0,1)인 임의의 τ = ck일 경우 비하위모듈러 목표 함수의 강건한 최대화에 대해 최초로 일정 요소 근사 보장을 달성한다.
• 이론적 경계는 하위모듈러리티 비율 γ와 새로운 역곡률 파라미터에 의존하며, 지지 선택 및 분산 감소 목표 함수에 대해 명시적 경계가 유도되었다.
• 100개의 희소 특성을 가진 합성 데이터에서, τ가 증가함에 따라 Objective 값과 일반화 오차 모두에서 Oblivious-Greedy가 Greedy 및 무관 선택을 압도적으로 앞선다.
• 10개 클래스의 로지스틱 회귀를 사용한 MNIST 데이터에서, τ가 증가함에 따라 Greedy보다 Oblivious-Greedy가 뛰어난 성능을 유지하며, τ = 45일 때 명확한 우위를 보였다.
• 가우시안 프로세스 기반 목표 함수를 사용한 분산 감소 작업에서, Oblivious-Greedy는 항상 Greedy 및 무관 선택을 능가했으며, α가 증가할수록(점들 간 상관관계가 낮아질수록) 더욱 두드러진 성능 향상을 보였다.
• τ가 증가함에 따라 Greedy의 성능 저하 정도가 Oblivious-Greedy보다 훨씬 심각하여, 제안된 방법의 강건성을 확인했다.