[논문 리뷰] Greedy Minimization of Weakly Supermodular Set Functions

Christos Boutsidis, Edo Liberty외 1명|arXiv (Cornell University)|2015. 02. 23.

Complexity and Algorithms in Graphs참고 문헌 7인용 수 5

한 줄 요약

이 논문은 기계학습 및 데이터 마이닝에서 흔한 비초모듈러(set function)의 최소화를 위한 일반화된 프레임워크인 약-α-초모듈러리티(weak-α-supermodularity)를 도입한다. 이는 초기 해에서 근사 비율 ρ를 갖는 그레디언트 확장 알고리즘이 O(αk ln(ρ/ε))개의 추가 요소를 사용하여 (1+ε)-근사해를 달성함을 증명한다. 이는 k-means, 희소 회귀, 컬럼 서브셋 선택 문제에 대해 이전 작업보다 더 날카운 비용 제약 조건 하에서 더 강력한 경계와 더 넓은 적용 가능성을 제공한다.

ABSTRACT

This paper defines weak-$α$-supermodularity for set functions. Many optimization objectives in machine learning and data mining seek to minimize such functions under cardinality constrains. We prove that such problems benefit from a greedy extension phase. Explicitly, let $S^*$ be the optimal set of cardinality $k$ that minimizes $f$ and let $S_0$ be an initial solution such that $f(S_0)/f(S^*) \le ρ$. Then, a greedy extension $S \supset S_0$ of size $|S| \le |S_0| + \lceil αk \ln(ρ/\varepsilon) ceil$ yields $f(S)/f(S^*) \le 1+\varepsilon$. As example usages of this framework we give new bicriteria results for $k$-means, sparse regression, and columns subset selection.

연구 동기 및 목표

• 기계학습 및 데이터 마이닝에서 흔한 비초모듈러(set function)에 대해 그레디언트 알고리즘의 적용 범위를 일반화하는 것.
• 그레디언트 알고리즘이 추가된 각 요소당 충분한 진전을 이룰 수 있도록 보장하는 성질로 약-α-초모듈러리티를 체계화하는 것.
• 카디널리티 제약 조건이 있는 최소화 문제에 대한 이중비용 근사 이론적 프레임워크를 제공하는 것.
• 희소 회귀, k-means, 컬럼 서브셋 선택 문제에 대한 기존 경계를 향상시켜 근사 요인을 강화하고, 과소정의된 설정으로 확장하는 것.
• 커브처 유사 매개변수 α를 사용하여 비하위모듈러 또는 비초모듈러 목표 함수에 대한 이전의 그레디언트 알고리즘 결과를 통합하고 확장하는 것.

제안 방법

• 약-α-초모듈러리티 정의: 임의의 집합 S와 T에 대해, T∖S를 추가할 때의 총 이득이 |T∖S|와 추가된 각 개별 요소의 최대 이득을 α 배한 값으로 제한함.
• 목적 함수를 향상시키기 위해 f(S ∪ {i})를 최소화하는 요소를 반복적으로 추가하는 그레디언트 확장 알고리즘 제안.
• 이론적 경계 수립: 초기 해 S₀가 f(S₀)/f(S*) ≤ ρ를 만족하면, |S₀| + ⌈αk ln(ρ/ε)⌉의 크기로 확장한 결과 f(S)/f(S*) ≤ 1+ε가 성립함.
• 세 가지 문제에 프레임워크 적용: k-means, 희소 다중 선형 회귀(SMLR), 컬럼 서브셋 선택(CSS), 각각에서 약-α-초모듈러리티 성립을 증명함.
• 기존 알려진 근사 알고리즘을 활용해 ρ가 유한한 초기 해 S₀를 구성함으로써, 그레디언트 확장이 (1+ε)-근사해를 달성할 수 있도록 함.
• 행렬 섭동 이론과 조건 수 경계를 활용해 α를 입력 행렬의 스펙트럼 성질과 연결함. 특히 CSS 및 회귀 문제에서 중요함.

실험 결과

연구 질문

• RQ1 카디널리티 제약 조건이 있는 최소화 문제에서 비초모듈러(set function)에 대해 그레디언트 알고리즘이 근사 최적해를 보장할 수 있는가?
• RQ2 그레디언트 알고리즘이 유한한 추가 요소 수로 (1+ε)-근사해를 달성할 수 있도록 보장하는 집합 함수의 구조적 성질은 무엇인가?
• RQ3 약-α-초모듈러리티는 초모듈러리티를 어떻게 일반화하며, 희소 회귀 및 컬럼 선택과 같은 실용적 문제에서 더 날카운 근사 경계를 가능하게 하는가?
• RQ4 그레디언트 확장 프레임워크는 과소정의된 설정에서 기존의 이중비용 결과를 희소 회귀 및 컬럼 서브셋 선택 문제에서 향상시킬 수 있는가?
• RQ5 매개변수 α와 회귀 및 행렬 근사 문제에서의 조건 수 또는 행렬 노름 사이의 관계는 무엇인가?

주요 결과

• 그레디언트 확장 알고리즘은 최대 |S₀| + ⌈αk ln(ρ/ε)⌉개의 요소를 사용하여 최적해 f(S*)에 대해 (1+ε)-근사해를 달성한다. 여기서 ρ = f(S₀)/f(S*)이며, α는 약-초모듈러리티 정도를 측정한다.
• 희소 다중 선형 회귀(SMLR)의 경우, α = max_S′ ||X_S′⁺||₂²일 때 약-α-초모듈러리티가 성립함을 증명하여, O(αk log(‖Y‖²_F / ε))개의 요소로 이중비용 근사가 가능함을 보임.
• 기존의 희소 회귀 연구에 비해 근사 요인을 상수 배수로 감소시키고, 이전 결과가 실패하는 과소정의된 설정으로까지 적용 가능성을 확장함.
• 컬럼 서브셋 선택 문제에 대해, ρ ≤ 2, k+1, 또는 κ²(X)를 만족하는 초기 해에서의 그레디언트 확장을 통해 f(S) ≤ (1+δ)f(S*)를 만족하는 해를 O(αk ln(ρ/δ))개의 컬럼으로 달성함.
• 이전 연구에서의 커브처 기반 분석을 확장하고 정교화하여, 컬럼 서브셋 선택 문제에서 1/(1−c) ≤ κ²(X)임을 보이며, 행렬의 조건 수와 근사 품질 간의 관계를 연결함.
• 이론적 프레임워크는 k-means, 희소 회귀, 컬럼 서브셋 선택에 대한 구체적 응용을 통해 검증되었으며, 각각 더 향상되거나 일반화된 이중비용 경계를 달성함.