[논문 리뷰] Algorithmic stability and hypothesis complexity

Tongliang Liu, Gábor Lugosi외 2명|arXiv (Cornell University)|2017. 02. 28.

Stochastic Gradient Optimization Techniques참고 문헌 15인용 수 34

한 줄 요약

이 논문은 학습 알고리즘의 출력 가설이 바나흐 공간에서 어떻게 변화하는지를 측정하는 새로운 알고리즘 안정성 개념인 '논거 안정성(argument stability)'을 도입한다. 바나흐 공간에서의 마르팅게일 부등식을 활용하여, 경험적 리스크 최소화나 확률적 경사 하강법과 같은 안정된 알고리즘에 대해 높은 확률에서의 일반화 경계를 유도하며, 이 경계는 $O(1/n)$ 수렴 속도를 갖는다. 특히 힐버트 공간에서는 알고리즘 가설 클래스의 라데마처 복잡도가 급격히 감소하므로 더욱 유리하다.

ABSTRACT

We introduce a notion of algorithmic stability of learning algorithms---that we term \emph{argument stability}---that captures stability of the hypothesis output by the learning algorithm in the normed space of functions from which hypotheses are selected. The main result of the paper bounds the generalization error of any learning algorithm in terms of its argument stability. The bounds are based on martingale inequalities in the Banach space to which the hypotheses belong. We apply the general bounds to bound the performance of some learning algorithms based on empirical risk minimization and stochastic gradient descent.

연구 동기 및 목표

• 학습 알고리즘의 출력 가설의 변화를 측정하는 새로운 알고리즘 안정성 개념인 논거 안정성을 정식화하는 것 — 손실의 변화뿐 아니라 가설 자체의 변화를 고려한다.
• 기능 해석학과 바나흐 공간에서의 확률론적 도구를 사용하여 논거 안정성에 기반한 학습 알고리즘의 일반화 오차 경계를 수립하는 것.
• 안정된 학습 알고리즘이 출력할 가능성이 높은 가설들의 집합으로서 알고리즘 가설 클래스를 정의하여, 더 날카로운 복잡도 기반 일반화 경계를 가능하게 하는 것.
• 힐버트 공간에서 알고리즘 가설 클래스의 라데마처 복잡도가 $O(1/n)$ 속도로 수렴함을 보여주며, 이는 빠른 일반화 보장을 가능하게 한다.

제안 방법

• 학습 알고리즘이 한 예제가 다른 두 데이터셋에서 출력하는 가설 간의 노름 차이로 논거 안정성을 정의한다.
• 가설들을 분리 가능한 바나흐 공간의 원소로 모델링하고, 바나흐 공간과 그 쌍대 공간 간의 쌍대성에 기반한 선형 예측을 수행한다.
• 바나흐 공간에서의 마르팅게일 부등식을 적용하여 가설이 기대값에서 벗어나지 않는 정도를 제한함으로써, 높은 확률에서의 일반화 경계를 확보한다.
• 학습 알고리즘이 출력하는 가설들의 집합으로서 알고리즘 가설 클래스를 정의하고, 이 가설들이 $\mathbb{E}[h_S]$ 주변에 집중되어 있음을 중심으로 분석한다.
• 알고리즘 가설 클래스의 라데마처 복잡도를 사용하여 일반화 경계를 도출하며, 힐버트 공간에서는 $O(1/n)$ 수렴 속도를 보임을 보인다.
• 경험적 리스크 최소화와 확률적 경사 하강법에 이론을 특수화하여, 손실 함수의 리프시츠 조건과 미분 가능성 조건 하에서 논거 안정성을 증명한다.

실험 결과

연구 질문

• RQ1 손실의 변화뿐 아니라 가설 자체의 변화를 기반으로 한 안정성 개념이 더 날카로운 일반화 경계를 이끌 수 있는가?
• RQ2 특히 가설 공간의 기하학적 성질 — 구체적으로 마르팅게일 유형 — 이 안정된 학습 알고리즘의 일반화 오차에 어떤 영향을 미치는가?
• RQ3 논거 안정성 학습 알고리즘에 대해 힐버트 공간에서 알고리즘 가설 클래스의 라데마처 복잡도 수렴 속도는 얼마인가?
• RQ4 특히 손실 함수가 리프시츠 조건과 미분 가능성 조건을 만족할 때, 논거 안정성에 기반해 확률적 경사 하강법에 대해 높은 확률의 일반화 경계를 도출할 수 있는가?
• RQ5 출력 가설의 집중도를 통해 정의된 알고리즘 가설 클래스는 기존의 복잡도 측정 방식보다 더 빠른 수렴 속도를 가능하게 하는가?

주요 결과

• 모든 논거 안정성 학습 알고리즘의 일반화 오차는 바나흐 공간에서의 마르팅게일 부등식을 통해 높은 확률에서 경계가 된다.
• 논거 안정성 학습 알고리즘의 경우, 힐버트 공간에서 알고리즘 가설 클래스의 라데마처 복잡도가 $O(1/n)$ 속도로 수렴한다.
• ℓ₂ 정규화를 사용하는 경험적 리스크 최소화는 논거 안정성을 확보하며, 이로 인해 $O(1/n)$ 수준의 높은 확률 일반화 경계가 유도된다.
• L-리프시츠 및 s-스무스 손실 함수를 갖는 확률적 경사 하강법는 논거 안정성을 보이며, $\|h_T - h_T^i\| \leq \frac{1+1/sc}{n-1}(2cBL)^{1/(sc+1)}T^{sc/(sc+1)}$ 를 만족한다.
• γ-강한 볼록성과 L-리프시츠 손실 함수를 갖는 투영된 확률적 경사 하강법는 논거 안정성을 만족하며, $\|h_T - h_T^i\| \leq \frac{2BL}{\gamma n}$ 이며, 이로 인해 일반화 오차가 $O(1/n)$ 속도로 신속히 수렴한다.
• 제안된 프레임워크는 이전 연구들이 기대값 기반 경계만 보장하는 데서 벗어나, 실용적 신뢰성을 높이는 높은 확률 경계를 제공한다.