[논문 리뷰] Totally Corrective Boosting with Cardinality Penalization

Vasil S. Denchev, Nan Ding외 3명|arXiv (Cornell University)|2015. 04. 07.

Quantum Computing Algorithms and Architecture참고 문헌 22인용 수 5

한 줄 요약

이 논문은 카디널리티 페널티(_CP_)를 통해 명시적으로 스퍼스리티를 강제하는 총교정 부스팅 알고리즘인 TotalQBoost를 제안한다. 이는 비볼록이고 조합 최적화 문제를 해결함으로써 훨씬 더 스퍼스리티가 높고 정확도가 높은 모델을 도출한다. 고전적 히우리스틱 최적화기로 양자 하드웨어를 대체하여 실험한 결과, CP 기반 모델은 벤치마크 데이터셋에서 L1-정규화 및 조기 정지 기반 모델 대비 최대 67.65%의 스퍼스리티 향상과 최대 25%의 일반화 성능 향상을 달성하였다.

ABSTRACT

We propose a totally corrective boosting algorithm with explicit cardinality regularization. The resulting combinatorial optimization problems are not known to be efficiently solvable with existing classical methods, but emerging quantum optimization technology gives hope for achieving sparser models in practice. In order to demonstrate the utility of our algorithm, we use a distributed classical heuristic optimizer as a stand-in for quantum hardware. Even though this evaluation methodology incurs large time and resource costs on classical computing machinery, it allows us to gauge the potential gains in generalization performance and sparsity of the resulting boosted ensembles. Our experimental results on public data sets commonly used for benchmarking of boosting algorithms decidedly demonstrate the existence of such advantages. If actual quantum optimization were to be used with this algorithm in the future, we would expect equivalent or superior results at much smaller time and energy costs during training. Moreover, studying cardinality-penalized boosting also sheds light on why unregularized boosting algorithms with early stopping often yield better results than their counterparts with explicit convex regularization: Early stopping performs suboptimal cardinality regularization. The results that we present here indicate it is beneficial to explicitly solve the combinatorial problem still left open at early termination.

연구 동기 및 목표

• 기존 부스팅에서 조기 정지로 인한 암묵적 스퍼스리티의 한계를 해결하기 위해 카디널리티 페널티(_CP_)를 통해 스퍼스리티를 명시적으로 강제하는 부스팅 알고리즘을 개발하는 것.
• 조합 최적화 문제인 CP 문제를 직접 해결할 경우, 표준 L1-정규화 또는 조기 정지 부스팅 대비 더 뛰어난 모델 스퍼스리티와 일반화 성능을 달성할 수 있음을 입증하는 것.
• 양자 최적화의 잠재력을 평가하기 위해, 고전적 히우리스틱을 사용해 양자 최적화 성능을 시뮬레이션함으로써 CP-부스팅 문제를 해결하는 데 있어 미래의 양자 하드웨어 성능을 모방하는 것.
• 비정규화된 부스팅에서 조기 정지가 자주 L1-정규화보다 성능이 우수한 이유를 분석하고, 이를 비최적의 카디널리티 정규화로 해석하는 것.
• Google Project Glass와 같은 자원 제약이 있는 장치에 적합한 컴act 캐스케이드 검출기와 같은 실세계 응용 분야에서 방법의 유효성을 검증하는 것.

제안 방법

• 부스팅을 카디널리티 페널티를 명시적으로 포함한 정규화된 리스크 최소화 문제로 공식화한다: 손실의 합에 w에 대한 선형 항과 카디널리티 페널티 λ·card(w)를 더한 것을 최소화하며, w ≥ 0 조건을 만족한다.
• 모든 활성 약한 가설을 반복적으로 업데이트하는 총교정 방식을 사용한다. 이는 단일 좌표만 업데이트하는 교정 알고리즘과는 달리, t차원의 부분문제를 푸는 방식이다.
• 라그랑주 이중성 기반의 이중 함수를 유도하여 컬럼 생성 기법을 적용해 모델을 반복적으로 구축할 수 있도록 한다.
• NP-난해한 CP 부분문제를 해결하기 위해, 고전적 볼록 최적화 방법으로는 해결이 어려운 문제에 대해 분산된 고전적 히우리스틱 최적화기를 사용하여 양자 최적화를 시뮬레이션한다.
• 표준 벤치마크 데이터셋과 웨어러블 장치용 실세계 캐스케이드 검출기에서 평가하여 일반화 오차, 스퍼스리티, 학습 성능를 비교한다.
• 해결책의 파레토 경계를 탐색하여 스퍼스리티와 일반화 오차 사이의 우월한 트레이드오프를 보이는 점들을 식별한다.

실험 결과

연구 질문

• RQ1 부스팅에 명시적인 카디널리티 페널티를 적용할 경우, L1-정규화 또는 조기 정지 부스팅 대비 더 스퍼스리티가 높고 정확도가 높은 모델을 도출할 수 있는가?
• RQ2 조합 최적화 문제인 CP 문제를 직접 해결할 경우, 조기 정지로 인한 비최적의 정규화보다 더 나은 일반화 성능과 스퍼스리티를 달성할 수 있는가?
• RQ3 고전적 히우리스틱 최적화기로는 미래의 양자 최적화 하드웨어 성능을 어느 정도 모방할 수 있는가?
• RQ4 비정규화된 부스팅에서 조기 정지가 왜 종종 볼록 정규화보다 성능이 뛰어나게 작용하는가? 그리고 CP 기반 최적화는 이 문제를 어떻게 해결하는가?
• RQ5 CP-부스팅은 모바일 및 웨어러블 장치와 같은 자원 제약 환경에서 실질적인 성과를 낼 수 있는가?

주요 결과

• 벤치마크 데이터셋에서, CP-부스팅은 일반화 오차가 유사한 L1-정규화 모델 대비 스퍼스리티 향상이 2.5%에서 67.65%까지 이루어졌다.
• CP 점이 모든 L1CG/UCG 기반 모델을 초월한 경우, 일반화 성능 향상이 최대 25%까지 관찰되었으며, 특히 flare solar(25%) 및 twonorm(9.8%) 데이터셋에서 두드러졌다.
• TotalQBoost(E)와 고전적 L1CG/UCG(B) 간 비교에서, 동일한 카디널리티에서 경험적 리스크와 학습 오차에서 각각 1.61%와 2.05% 뿐만 못한 성능을 보였으며, 이는 조기 정지가 약한 형태의 CP로 간주됨을 시사한다.
• TotalQBoost(E)와 UCG(D) 간 비교에서, 경험적 리스크에서 76.19%의 경우, 학습 오차에서 86.99%의 경우 E가 D를 초월하여, CP 최적화가 더 우수한 해를 도출함을 시사한다.
• Google Project Glass에서 CP-부스팅 캐스케이드는 고정된 재현율 조건에서 오류 탐지 수를 15~45% 감소시켜, 메모리 및 에너지 제약이 있는 환경에서 실용적인 유용성을 입증하였다.
• 결과는 조기 정지가 비최적의 카디널리티 정규화를 수행하며, CP 문제를 명시적으로 해결할 경우 스퍼스리티와 일반화 성능 모두에서 측정 가능한 향상이 이루어짐을 확인한다.