[논문 리뷰] Using More Data to Speed-up Training Time

Shai Shalev‐Shwartz, Ohad Shamir외 1명|arXiv (Cornell University)|2011. 06. 06.

Machine Learning and Algorithms참고 문헌 10인용 수 5

한 줄 요약

이 논문은 암호학적 가정 하에 표본 크기와 런타임 간의 증명 가능한 역의존성을 보이며, 더 많은 학습 데이터를 통해 학습 알고리즘의 런타임을 지수적으로 감소시킬 수 있음을 조사한다. 이는 더 효율적인 가설 클래스를 허용함으로써 이루어지며, 일반화된 학습 설정에서 더 큰 데이터셋이 더 빠른, 볼록 최적화 기반의 학습을 가능하게 하는 새로운 애너지스틱 학습 구성과 자연스러운 예시를 제시한다. 다만, 하한값을 일치시키는 것은 아직 열려 있다.

ABSTRACT

In many recent applications, data is plentiful. By now, we have a rather clear understanding of how more data can be used to improve the accuracy of learning algorithms. Recently, there has been a growing interest in understanding how more data can be leveraged to reduce the required training runtime. In this paper, we study the runtime of learning as a function of the number of available training examples, and underscore the main high-level techniques. We provide some initial positive results showing that the runtime can decrease exponentially while only requiring a polynomial growth of the number of examples, and spell-out several interesting open problems.

연구 동기 및 목표

• 기계학습에서 표본 복잡도와 계산 효율성 간의 상호 교환 관계를 정식화하기 위해.
• 더 큰 학습 데이터셋이 가설 클래스의 완화를 통해 지수적으로 빠른 학습 알고리즘을 가능하게 할 수 있음을 보여주기 위해.
• 완벽한 가설 가정에 의존하지 않고, 일반화된 학습 설정에서 표본 크기와 런타임 간의 역의존성을 증명할 수 있는 예를 제공하기 위해.
• 더 많은 데이터가 볼록 최적화를 통해 현저히 더 빠른 학습을 가능하게 하는 자연스러운 학습 문제를 특정하기 위해.
• 이러한 런타임 향상에 대한 하한값을 증명하는 데 있어 열려 있는 문제들을 부각하기 위해.

제안 방법

• 학습 시간과 학습 예제 수의 관계를 연결하는 형식적 모델을 제안하며, 계산적 효율성과 통계적 효율성 간의 상호 교환 관계에 중점을 둔다.
• 단방향 순열과 같은 암호학적 가정을 사용하여, 증명 가능한 역의존성과 함께 합성된 일반화된 학습 문제를 구성한다.
• 원래 클래스 H 내에서 ε 이내로 근사하는 불완전한 가설 클래스 H₁을 도입하여, 볼록 최적화와 다항식 시간 학습을 가능하게 한다.
• H를 H₁에 통합하기 위해 커널 기반 매핑 ψ와 그 역함수를 사용하며, H₁은 효율적인 최적화에 적합한 선형 함수로 구성된다.
• 런타임과 표본 복잡도 간의 상호 교환 관계를 분석하여, H₁이 H에 대한 직접적인 ERM에 비해 지수적으로 적은 예제가 필요하지만 여전히 ε-근사치를 달성함을 보여준다.
• 탐색 기법을 사용하여 온라인 학습과 비지도 학습과 같은 자연스러운 문제로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 학습 예제 수를 늘임으로써 학습 알고리즘의 런타임을 지수적으로 감소시킬 수 있는가?
• RQ2 더 큰 데이터셋이 가설 클래스 완화를 통해 일반화된 설정에서 증명 가능한 더 빠른 학습을 가능하게 할 수 있는 학습 문제를 구성할 수 있는가?
• RQ3 완벽한 가설이 없더라도 더 많은 데이터가 현저히 더 빠른 학습을 가능하게 하는 자연스러운 학습 문제들은 무엇인가?
• RQ4 표본 크기와 런타임 간의 역의존성을 달성하기 위한 필요한 조건과 기법은 무엇인가?
• RQ5 자연스러운 학습 문제에서 관찰된 런타임 향상에 대해 일치하는 하한값이 존재하는가?

주요 결과

• 단방향 순열의 존재를 바탕으로, 학습 예제 수가 증가함에 따라 런타임이 지수적으로 감소하는 합성된 일반화된 학습 문제를 구성하였다.
• H₁을 통해 H의 가설 클래스를 학습하는 데에는 poly(exp(L log(L/ε)))의 시간이 소요되며, H에 대한 원래 ERM는 exp(O(L²/ε² log(L/ε)))의 시간이 소요된다.
• H₁의 표본 복잡도는 poly(exp(L log(L/ε)))이며, H의 L²/ε² 복잡도보다 지수적으로 크지만, 다항식 시간 학습이 가능하다.
• 구성된 가설 클래스 H₁은 모든 입력에 대해 H를 ε 이내로 근사하며, 이는 부적절한 가설임에도 불구하고 일반화를 보장한다.
• 온라인 학습과 비지도 학습과 같은 자연스러운 예시에서도 뚜렷한 역의존성 런타임 특성이 나타나지만, 하한값은 아직 증명되지 않았다.
• 논문은 주요 열린 문제를 규명한다: 자연스러운 학습 문제에서 이러한 런타임 향상이 증명적으로 필수적임을 보여주는 것이며, 단지 상한값에 국한되지 않도록 해야 한다.