[논문 리뷰] A General Memory-Bounded Learning Algorithm

Michal Moshkovitz, Naftali Tishby|arXiv (Cornell University)|2017. 12. 10.

Machine Learning and Algorithms참고 문헌 24인용 수 4

한 줄 요약

이 논문은 새로운 조합적 성질인 '분리 가능성(separability)'을 만족하는 가설 클래스를 위한 일반적인 메모리 제한 학습 알고리즘을 제안한다. 이 성질은 '혼합 방지' 조건으로 작용한다. 알고리즘은 알려진 분포 하에서 메모리 당 몇 비트만을 사용해 반복적으로 후보 가설 집합을 갱신함으로써 효율적으로 학습하며, 분리 가능한 클래스에 대해 증명 가능하고 메모리 및 표본 효율성을 확보한 메모리 복잡도가 유한한 알고리즘이다.

ABSTRACT

Designing bounded-memory algorithms is becoming increasingly important nowadays. Previous works studying bounded-memory algorithms focused on proving impossibility results, while the design of bounded-memory algorithms was left relatively unexplored. To remedy this situation, in this work we design a general bounded-memory learning algorithm, when the underlying distribution is known. The core idea of the algorithm is not to save the exact example received, but only a few important bits that give sufficient information. This algorithm applies to any hypothesis class that has an "anti-mixing" property. This paper complements previous works on unlearnability with bounded memory and provides a step towards a full characterization of bounded-memory learning.

연구 동기 및 목표

• 이러한 학습에 대한 불가능성 결과가 널리 연구되었음에도 불구하고 일반적인 유한 메모리 학습 알고리즘이 부족한 문제를 해결하기 위해.
• 메모리 제약 하에서 학습 가능한 가설 클래스를 특징짓는 새로운 조합적 조건인 '분리 가능성'을 정의하기 위해.
• 제한된 메모리로도 정확성과 효율성을 유지하면서 작동하는 일반적인 적절한 학습 알고리즘을 설계하기 위해.
• 통계 질의 모델과의 동치성을 통해 알고리즘의 강건성을 입증함으로써 노이즈에 대한 내성을 확보하기 위해.
• 결정 목록, 등분할 분류기, 임계값 함수와 같은 자연스러운 클래스에 대해 시간 및 메모리 최적의 효율적 구현을 제공하기 위해.

제안 방법

• 예시와 가설 사이의 이분 그래프로 가설 클래스를 표현하며, 간선은 레이블 일치를 나타낸다.
• 예시의 부분집합 $ S $ 과 가설 $ h $ 사이의 밀도 $ d(S, h) $ 를 정의하고, 표본을 통한 추정을 수행한다.
• 진짜 가설을 높은 확률로 포함하는 후보 가설 집합 $ T \triangleq \text{후보 가설} $ 을 유지한다.
• 각 반복 단계에서 무거운 예시 부분집합 $ S $ 에 대해 $ d(S, f) $ 를 추정하여 $ d(S, h) \not\approx d(S, f) $ 를 만족하는 가설 $ h $ 를 식별하고 제거한다.
• 분리 가능성 성질을 활용해 각 반복에서 $ T $ 내의 가설 중 일정 비율 $ \alpha^2/2 $ 를 제거함으로써 로그 수준의 수렴을 보장한다.
• 통계 질의 모델에서 두 하위 알고리즘인 'Is-close'(가설 간 거리 측정)과 'Estimate'(밀도 추정)를 사용해 알고리즘을 구현한다. 이들 모두 단일 통계 질의로 실현 가능하다.

실험 결과

연구 질문

• RQ1 어떤 조합적 성질이 알려진 분포 하에서 가설 클래스의 유한 메모리 학습을 가능하게 하는가?
• RQ2 다양한 가설 클래스에 걸쳐 작동하는 일반적이고 적절한 메모리 제한 학습 알고리즘을 설계할 수 있는가?
• RQ3 제한된 스토리지 하에서 수렴성과 정확성을 보장하면서도 메모리 사용량을 최소화할 수 있는가?
• RQ4 제안된 알고리즘은 어느 정도 노이즈에 강건한가? 그리고 통계 질의 형태로 표현 가능한가?
• RQ5 결정 목록, 임계값 함수 등의 자연스러운 클래스에 대해 알고리즘의 시간 및 메모리 복잡도는 어떻게 되는가?

주요 결과

• 논문은 메모리 제한 학습을 위한 충분조건으로 '분리 가능성' 성질을 도입하였으며, 이는 이전에 연구된 '혼합성' 성질의 이중 조건으로 작용한다.
• 모든 $ (\alpha, \epsilon) $-분리 가능한 가설 클래스 $ \mathcal{H} $ 에 대해, 알고리즘은 $ \left(\log|\mathcal{H}| \cdot \frac{\log\log|\mathcal{H}| + \log(1/\alpha)}{\alpha^5}, \log|\mathcal{H}| \cdot \frac{1}{\alpha^2}, 0.1, \epsilon\right) $-유한 메모리 복잡도를 달성한다.
• 알고리즘은 반복당 $ O\left(\frac{1}{\alpha^2}(\log\log|\mathcal{H}| + \log(1/\alpha))\right) $ 개의 예시를 사용하며, 총 반복 수는 $ O\left(\frac{\log|\mathcal{H}|}{\alpha^2}\right) $ 로 유한하다.
• 메모리 사용량은 $ O\left(\log|\mathcal{H}| \cdot \frac{1}{\alpha^2}\right) $ 비트이며, 후보 집합 $ T $ 는 제거된 집합을 통해 암시적으로 저장함으로써 스토리지 최소화를 달성한다.
• 알고리즘은 통계 질의 모델에서 실현 가능하며, 노이즈에 대한 내성을 확보한다: $ \eta $-노이즈 하에서 'Is-close' 는 $ O(\epsilon^{-2}(1-2\eta)^{-2}\log(1/\delta)) $ 개의 샘플로, 'Estimate' 는 $ O(\tau^{-2}(\frac{|S|}{|\mathcal{X}|})^{-2}(1-2\eta)^{-2}\log(1/\delta)) $ 개의 샘플로 시뮬레이션 가능하다.
• 결정 목록, 등분할 분류기, 이산 임계값 함수와 같은 자연스러운 클래스에 대해 알고리즘이 효율적으로 구현 가능하며, 시간 및 메모리 효율성이 입증되었다.