[논문 리뷰] Learning without Interaction Requires Separation.

Amit Daniely, Vitaly Feldman|arXiv (Cornell University)|2018. 09. 24.

Machine Learning and Algorithms인용 수 9

한 줄 요약

이 논문은 국소 미분적 비밀유지 또는 제한된 통신 제약 조건 하에서 비상호작용 학습이 낮은 마진 복잡도를 필요로 한다는 것을 입증하며, 마진 복잡도가 큰 클래스에 대해 비상호작용 학습과 상호작용 학습 간의 분리를 증명한다. 이는 마진 복잡도에 다항적으로 의존하는 레이블 비적응형 SQ 알고리즘을 제안함으로써 비상호작용 학습 가능성을 마진 복잡도로 특성화한다.

ABSTRACT

One of the key resources in large-scale learning systems is the number of rounds of communication between the server and the clients holding the data points. We study this resource for systems with two types of constraints on the communication from each of the clients: local differential privacy and limited number of bits communicated. For both models the number of rounds of communications is captured by the number of rounds of interaction when solving the learning problem in the statistical query (SQ) model. For many learning problems known efficient algorithms require many rounds of interaction. Yet little is known on whether this is actually necessary. In the context of classification in the PAC learning model, Kasiviswanathan et al. (2008) constructed an artificial class of functions that is PAC learnable with respect to a fixed distribution but cannot be learned by an efficient non-interactive (or one-round) SQ algorithm. Here we show that a similar separation holds for any class with large margin complexity that is closed under negation, without assumptions on the distribution. That is, classes of functions that cannot be represented as large-margin linear separators. In particular this is true for linear separators and decision lists. To prove this separation we show that non-interactive SQ algorithms can only learn function classes of low margin complexity. Our lower bound also holds against a stronger class of algorithms that for which only queries that depend on labels are non-interactive (we refer to them as label-non-adaptive). We complement this lower bound with a new efficient and label-non-adaptive SQ learning algorithm whose complexity is polynomial in the margin complexity. We thus obtain a new characterization of margin complexity that might be of independent interest.

연구 동기 및 목표

• 비상호작용 학습이 통신 또는 비밀유지 제약 조건 하에서 상호작용 학습에 비해 본질적으로 성능이 열등한지 여부를 규명하는 것.
• 통계적 질의(SQ) 모델에서 상호작용 없이 효율적으로 학습할 수 없는 마진 복잡도가 큰 클래스가 존재하는지 조사하는 것.
• 마진 복잡도를 사용하여 비상호작용 또는 레이블 비적응형 SQ 알고리즘으로 학습 가능한 함수의 클래스를 특성화하는 것.
• 마진 복잡도에 다항적으로 의존하는 복잡도를 가지면서도 효율성을 유지하는 레이블 비적응형 SQ 알고리즘을 개발하는 것.

제안 방법

• 저자는 비상호작용 SQ 알고리즘의 한계를 분석하여, 이들이 오직 낮은 마진 복잡도를 가진 함수 클래스만 학습할 수 있음을 증명한다.
• 레이블에 의존하는 쿼리만 비상호작용인, 더 강력한 레이블 비적응형 알고리즘 모델을 도입한다.
• 마진 복잡도에 다항적으로 의존하는 복잡도를 가지며, 레이블 비적응형인 효율적인 새로운 SQ 학습 알고리즘을 구축한다.
• 증명은 마진 복잡도를 핵심 매개변수로 사용하여 비상호작용 쿼리가 학습 과정에 미치는 영향을 제한하는 데 기반한다.
• 분산 학습에서의 통신 제약 조건을 SQ 모델과 연결하여, 라운드 복잡도가 SQ 쿼리의 상호작용과 대응됨을 보여준다.

실험 결과

연구 질문

• RQ1 국소 미분적 비밀유지 또는 비트 수 제한된 통신 조건 하에서, 마진 복잡도가 큰 함수 클래스를 비상호작용 학습 알고리즘이 효율적으로 학습할 수 있는가?
• RQ2 마진 복잡도가 크고 부정에 대해 닫혀 있는 클래스에 대해, SQ 모델에서 상호작용 학습과 비상호작용 학습 간에 증명 가능한 분리가 존재하는가?
• RQ3 마진 복잡도 측면에서 비상호작용 학습 가능성의 정확한 특성은 무엇인가?
• RQ4 레이블 비적응형 SQ 알고리즘이 마진 복잡도에 다항적으로 의존하면서도 효율성을 유지할 수 있는가?

주요 결과

• 비상호작용 SQ 알고리즘은 클래스가 부정에 대해 닫혀 있더라도, 마진 복잡도가 큰 함수 클래스를 학습할 수 없다. 이는 PAC-학습 가능한 경우에도 마찬가지다.
• 상호작용 학습과 비상호작용 학습 간의 분리가 존재한다: 마진 복잡도가 큰 클래스는 효율적으로 학습하기 위해 상호작용이 필요하다.
• 비상호작용 또는 레이블 비적응형 SQ 알고리즘으로 학습 가능한 함수의 클래스는 정확히 낮은 마진 복잡도로 특성화된다.
• 대상 클래스의 마진 복잡도에 다항적으로 의존하는 복잡도를 가지며 효율적인 레이블 비적응형 SQ 알고리즘을 구성하였다.
• 낮은 마진 복잡도에 의존하는 하한은, 레이블에 의존하는 쿼리만 비상호작용인 더 강력한 모델에 대해서도 성립하여, 분리의 강건성을 확인한다.