[논문 리뷰] Forward-Backward Greedy Algorithms for General Convex Smooth Functions over A Cardinality Constraint

Ji Liu, Ryohei Fujimaki외 1명|arXiv (Cornell University)|2013. 12. 31.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 39

한 줄 요약

이 논문은 카디널리티 제약 조건 하에 일반적인 볼록 스무스 함수에 대해 스파스 특징 선택을 위한 전진-후진 그레디언트 알고리즘을 제안하고 분석한다. FoBa-gdt는 FoBa-obj보다 확장성을 향상시키기 위해 기울기 정보를 사용하며, 제한 강력 볼록성 조건 하에서 FoBa-gdt가 FoBa-obj와 동일한 이론적 성능을 달성함을 입증한다. 수렴 경계는 표본 크기와 스파arsity 및 차원 수의 비율에 따라 달라진다.

ABSTRACT

We consider forward-backward greedy algorithms for solving sparse feature selection problems with general convex smooth functions. A state-of-the-art greedy method, the Forward-Backward greedy algorithm (FoBa-obj) requires to solve a large number of optimization problems, thus it is not scalable for large-size problems. The FoBa-gdt algorithm, which uses the gradient information for feature selection at each forward iteration, significantly improves the efficiency of FoBa-obj. In this paper, we systematically analyze the theoretical properties of both forward-backward greedy algorithms. Our main contributions are: 1) We derive better theoretical bounds than existing analyses regarding FoBa-obj for general smooth convex functions; 2) We show that FoBa-gdt achieves the same theoretical performance as FoBa-obj under the same condition: restricted strong convexity condition. Our new bounds are consistent with the bounds of a special case (least squares) and fills a previously existing theoretical gap for general convex smooth functions; 3) We show that the restricted strong convexity condition is satisfied if the number of independent samples is more than $\bar{k}\log d$ where $\bar{k}$ is the sparsity number and $d$ is the dimension of the variable; 4) We apply FoBa-gdt (with the conditional random field objective) to the sensor selection problem for human indoor activity recognition and our results show that FoBa-gdt outperforms other methods (including the ones based on forward greedy selection and L1-regularization).

연구 동기 및 목표

• FoBa-obj 알고리즘의 확장성 한계를 해결하기 위해, 이는 많은 최적화 문제를 풀어야 하기 때문이다.
• 기울기 기반 특징 선택을 통해 계산 비용을 줄이는 더 효율적인 그레디언트 알고리즘인 FoBa-gdt를 개발하기 위해.
• 일반적인 스무스 볼록 함수에 대해 FoBa-obj와 FoBa-gdt의 더 날카운 이론적 경계를 제공하기 위해.
• 제한 강력 볼록성 조건이 성립하는 조건을 규명하여 표본 크기와 스파arsity 및 차원 수를 연결하기 위해.
• 실제 응용 분야에서의 우수성을 입증하기 위해, 인간 활동 인식을 위한 센서 선택과 같은 실세계 응용에서 FoBa-gdt의 성능을 시험하기 위해.

제안 방법

• 기울기 정보를 사용해 전진 단계에서 특징을 선택하는 전진-후진 그레디언트 알고리즘인 FoBa-gdt를 제안하여 FoBa-obj보다 효율성을 향상시킨다.
• 레미마 3과 7을 활용한 새로운 후진 단계 분석을 도입하여 특징 풀 내의 잘못된 특징 수를 근사한다.
• 기울기와 곡률(ρ−(1), ρ+(1))의 성질을 이용해 목적 함수 감소에 대한 이론적 경계를 유도한다.
• 표본 수가 $\bar{k}\log d$를 초과할 경우, 제한 강력 볼록성 조건이 높은 확률로 성립함을 입증한다. 여기서 $\bar{k}$는 스파arsity이고 $d$는 차원이다.
• 조건부 랜덤 필드 목적 함수에 FoBa-gdt 알고리즘을 적용하여 실내 활동 인식을 위한 센서 선택 작업을 수행한다.
• 실제 응용에서는 스파arsity 수준 또는 δ와 ε의 사전 정의된 임계값에 기반한 정지 기준을 사용한다.

실험 결과

연구 질문

• RQ1 FoBa-gdt는 제한 강력 볼록성 조건 하에서 FoBa-obj와 동일한 이론적 성능을 달성하면서도 현저히 더 확장 가능한가?
• RQ2 일반적인 스무스 볼록 함수 하에서 FoBa-obj와 FoBa-gdt의 목적 함수 감소에 대해 유도할 수 있는 이론적 경계는 무엇인가?
• RQ3 일반적인 볼록 스무스 함수에 대해 제한 강력 볼록성 조건이 성립하는 조건은 무엇인가?
• RQ4 표본 크기와 스파arsity 및 차원 수 사이의 관계는 제한 강력 볼록성 조건을 확보하기 위해 어떻게 작용하는가?
• RQ5 FoBa-gdt는 실세계의 스파스 학습 작업에서 전진 그레디언트 선택 및 L1-정규화 방법보다 우월한가?

주요 결과

• 제한 강력 볼록성 조건 하에서 FoBa-gdt는 FoBa-obj와 동일한 이론적 성능을 달성하며, 계산 효율성이 현저히 향상된다.
• 이전 분석에 비해 FoBa-obj의 이론적 경계가 향상되었으며, 특히 일반적인 스무스 볼록 함수에 대해 유의미하다.
• 표본 수가 $\bar{k}\log d$를 초과할 경우, 제한 강력 볼록성 조건이 높은 확률로 성립한다. 여기서 $\bar{k}$는 스파arsity이고 $d$는 차원이다.
• 조건 수 $\kappa$는 헤시안과 관련된 것으로, 높은 확률로 $O(\kappa^2(\sqrt{\kappa}+1)^2(\bar{k}+1))$ 반복 내에 알고리즘이 종료된다.
• 실내 인간 활동 인식을 위한 센서 선택에 대한 실증 결과는 FoBa-gdt가 전진 그레디언트 선택 및 L1-정규화 방법보다 뛰어난 성능을 보임을 보여준다.
• FoBa-gdt에서 기울기 기반 특징 선택을 사용함으로써, 각 반복마다 다수의 하위 문제를 풀 필요가 없어져 대규모 문제에 대한 확장성 향상이 가능하다.