[논문 리뷰] Efficient Representations for Life-Long Learning and Autoencoding

Maria-Florina Balcan, Avrim Blum외 1명|arXiv (Cornell University)|2014. 11. 06.

Machine Learning and Algorithms참고 문헌 33인용 수 43

한 줄 요약

이 논문은 다수의 작업 간에 공유되는 표현을 학습함으로써 더 빠르고 자료 효율적인 학습을 가능하게 하는 효율적인 알고리즘을 제안한다. 공유 표현을 통해 저차원 부분공간과 특징의 부울 조합을 발견하기 위한 방법을 도입하며, 앵커 가정을 사용하여 희박하고 near-optimal한 오토인코더를 구성한다. 이는 고립된 작업 학습 대비 샘플 복잡도 향상에 대한 증명 가능성을 제공한다.

ABSTRACT

It has been a long-standing goal in machine learning, as well as in AI more generally, to develop life-long learning systems that learn many different tasks over time, and reuse insights from tasks learned, "learning to learn" as they do so. In this work we pose and provide efficient algorithms for several natural theoretical formulations of this goal. Specifically, we consider the problem of learning many different target functions over time, that share certain commonalities that are initially unknown to the learning algorithm. Our aim is to learn new internal representations as the algorithm learns new target functions, that capture this commonality and allow subsequent learning tasks to be solved more efficiently and from less data. We develop efficient algorithms for two very different kinds of commonalities that target functions might share: one based on learning common low-dimensional and unions of low-dimensional subspaces and one based on learning nonlinear Boolean combinations of features. Our algorithms for learning Boolean feature combinations additionally have a dual interpretation, and can be viewed as giving an efficient procedure for constructing near-optimal sparse Boolean autoencoders under a natural "anchor-set" assumption.

연구 동기 및 목표

• 작업 간 통찰을 재사용하는 효율적이고 스트리밍 형태의 일생 학습 알고리즘을 개발한다.
• 다수의 목표 함수 간 공통적인 구조적 공통점을 식별하고 학습한다.
• 컴act하고 재사용 가능한 내부 표현을 구성함으로써 온라인 학습의 샘플 복잡도를 감소시킨다.
• 자연스러운 분포 가정 하에 선형 및 비선형 설정 모두에서 학습에 대한 이론적 보장을 제공한다.
• 앵커 세트 가정을 통해 부울 특징 조합을 위한 희박하고 과잉 결정된 표현을 가능하게 한다.

제안 방법

• 오직 가설과 현재 표현만 유지하는 스트리밍 온라인 학습 프레임워크를 사용한다.
• 선형 설정에서 공유된 저차원 부분공간을 학습하기 위해 트레이스 노름 정규화와 공동 최적화를 적용한다.
• 부울 함수를 위한 최소한의 곱 기반 메타특징을 식별하기 위해 앵커 변수 가정을 활용한다.
• 과잉 결정된 희박한 표현에 대해 앵커 세트 가정 하에 이중 기준 근사 알고리즘을 도입한다.
• 표현이 실패할 경우 슈파이어와 셀리의 정확한 다항식 학습 알고리즘을 사용한다.
• 학습된 표현을 주기적으로 재압축하여 논리적 조합 메타특징의 수를 최소화한다.

실험 결과

연구 질문

• RQ1 증명 가능 샘플 효율성을 확보하면서 스트리밍 환경에서 다수의 분류 작업 간에 공유되는 저차원 부분공간을 학습할 수 있는가?
• RQ2 다수의 목표 함수에 대해 희박하고 컴act한 표현을 가능하게 하는 비선형 부울 특징 조합을 효율적으로 발견할 수 있는가?
• RQ3 희박한 부울 오토인코더 학습에서 near-optimal 성능을 달성하기 위해 필요한 가정은 무엇인가?
• RQ4 과거 학습 데이터를 저장하지 않고도 일생 학습에서 낮은 샘플 복잡도를 유지할 수 있는가?
• RQ5 학습된 다항식 함수를 효율적으로 최소한의 겹치는 논리적 조합 메타특징 집합으로 압축할 수 있는가?

주요 결과

• 컴act 표현에서 학습할 경우, 알고리즘이 각 작업에 대해 O(B²k)의 샘플 복잡도를 달성하며, 독립적 학습의 Ω(nm/ϵ)보다 훨씬 우수하다.
• 선형 부분공간의 경우, 로그-볼록 분포 하에서 샘플 복잡도 향상이 가능하며, 오차 한계는 각도 간격에 연관되어 있다.
• 앵커 변수 가정 하에서 알고리즘은 부울 오토인코딩을 위한 최적의 곱 기반 메타특징 수를 찾는다.
• 앵커 세트 가정 하에서 알고리즘은 이중 기준 근사법을 제공하며, 희박성과 메타특징 수 모두를 로그적 요소 내에서 근사한다.
• 완전 재학습이 필요한 작업 수는 n² + k 이하로 제한되어 있어, 새로운 작업이 추가되더라도 확장성이 보장된다.
• 주기적인 표현 재압축을 통해 다항식의 효율적 일생 학습이 가능해지며, 최소한의 논리적 조합 메타특징 집합으로 표현을 압축한다.