[논문 리뷰] On the Equivalence between Herding and Conditional Gradient Algorithms

Francis Bach, Simon Lacoste-Julien외 1명|arXiv (Cornell University)|2012. 03. 20.

Stochastic Gradient Optimization Techniques참고 문헌 15인용 수 67

한 줄 요약

이 논문은 히어딩 알고리즘이 재생 커널 힐버트 공간에서 이차 모멘트 이질성의 최소화를 위한 조건부 그래디언트(프랭크-울프) 방법과 수학적으로 동치임을 입증한다. 이 동치성은 선형 검색 및 액티브셋 방법과 같은 고급 변종을 통해 더 빠른 수렴을 가능하게 하지만, 실험 결과에서는 평균 추정에서는 히어딩을 능가하지만 최대 엔트로피 분포를 원래 히어딩만큼 잘 근사하지 못함을 보여주며, 효율성과 엔트로피 유지 사이의 상충 관계를 드러낸다.

ABSTRACT

We show that the herding procedure of Welling (2009) takes exactly the form of a standard convex optimization algorithm--namely a conditional gradient algorithm minimizing a quadratic moment discrepancy. This link enables us to invoke convergence results from convex optimization and to consider faster alternatives for the task of approximating integrals in a reproducing kernel Hilbert space. We study the behavior of the different variants through numerical simulations. The experiments indicate that while we can improve over herding on the task of approximating integrals, the original herding algorithm tends to approach more often the maximum entropy distribution, shedding more light on the learning bias behind herding.

연구 동기 및 목표

• 히어딩 알고리즘의 이론적 기반을 볼록 최적화와 연결함으로써 명확히 하기.
• 더 빠른 조건부 그래디언트 변종을 히어딩 프레임워크에 적용하여 평균 추정 성능을 향상시키기.
• 더 빠른 모멘트 추정 수렴이 최대 엔트로피 분포 근사에 더 좋게 연결되는지 조사하기.
• 히어딩의 학습 편향을 분석하며, 특히 특정 조건 하에서 최대 엔트로피로 수렴하는 경향을 다루기.

제안 방법

• 히어딩 알고리즘을 경험적 모멘트와 목표 평균 벡터 사이의 이차 오차를 최소화하는 조건부 그래디언트 방법으로 재해석한다.
• 알고리즘은 특징 공간에서의 선형 최대화를 풀어 현재 반복값을 갱신한다: $ x_{t+1} = \arg\max_{x\in\mathcal{X}} \langle w_t, \Phi(x) \rangle $.
• 선형 검색 변종을 도입하여 스텝 크기를 적응적으로 선택함으로써 표준 히어딩 대비 수렴 속도를 향상시킨다.
• 모서리 다각형 내 활성 제약 조건에 집중함으로써 수렴 속도를 가속화하는 액티브셋 변종을 제안한다.
• 이론적 수렴 속도를 유도하였으며, 유한 차원 설정에서 선형 검색 변종의 선형 수렴 속도를 포함한다.
• 수치 실험을 통해 표준 히어딩, 선형 검색, 액티브셋 변종을 평균 추정 및 최대 엔트로피 근사 과제에서 비교한다.

실험 결과

연구 질문

• RQ1 히어딩은 알려진 볼록 최적화 알고리즘과 동치인가? 만약 그렇다면 어떤 알고리즘인가?
• RQ2 조건부 그래디언트 알고리즘의 더 빠른 변종이 표준 히어딩 대비 모멘트 추정의 수렴 속도를 향상시킬 수 있는가?
• RQ3 모멘트 추정에서의 향상된 수렴이 최대 엔트로피 분포 근사에 더 좋게 이어지는가?
• RQ4 히어딩이 최대 엔트로피 분포로 수렴하는 조건은 무엇인가?
• RQ5 히어딩 기반 샘플링에서 수렴 속도와 엔트로피 유지 사이의 관계는 무엇인가?

주요 결과

• 히어딩은 이차 모멘트 이질성 최소화를 위한 조건부 그래디언트 알고리즘과 엄밀히 동치이며, 새로운 최적화적 해석을 제공한다.
• 선형 검색 변종는 유한 차원 설정에서 선형 수렴 속도를 달성하여 표준 히어딩의 $ O(1/t) $ 속도를 뛰어넘는다.
• 액티브셋 변종 역시 수렴 속도를 향상시키지만, 선형 검색 버전만큼 이론적 보장은 적다.
• 더 빠른 수렴에도 불구하고, 선형 검색 및 액티브셋 변종는 표준 히어딩만큼 최대 엔트로피 분포를 효과적으로 근사하지 못한다.
• 실험 결과 표준 히어딩은 거의 모든 랜덤 평균 벡터에 대해 최대 엔트로피 분포로 수렴함을 보였으며, 특히 평균 비율이 무리수일 경우 더욱 그렇다.
• 반면 더 빠른 변종는 희박한 지지 집합을 가진 낮은 엔트로피 해로 수렴하는 경향이 있어, 추정 속도와 엔트로피 유지 사이의 상충 관계를 시사한다.