[논문 리뷰] Algebraic Machine Learning

Fernando Martín-Maroto, Gonzalo G. de Polavieja|arXiv (Cornell University)|2018. 03. 14.

Machine Learning and Algorithms참고 문헌 13인용 수 4

한 줄 요약

이 논문은 전통적인 함수 최소화를 카디널리티 최소화—학습 데이터를 나타내는 최소 크기의 기초 대수적 구성요소(원자) 집합을 찾는 것으로 대체하는, 매개변수 없는 이산 대수적 기계학습 프레임워크를 제안한다. 이 방법은 과적합 없이 효과적으로 일반화되며, 압축도(원자 수가 적을수록)와 오차율 사이에 강한 반비례 관계를 보이며, 숫자 인식과 N-퀸 완성 문제에서 검증되었다.

ABSTRACT

Machine learning algorithms use error function minimization to fit a large set of parameters in a preexisting model. However, error minimization eventually leads to a memorization of the training dataset, losing the ability to generalize to other datasets. To achieve generalization something else is needed, for example a regularization method or stopping the training when error in a validation dataset is minimal. Here we propose a different approach to learning and generalization that is parameter-free, fully discrete and that does not use function minimization. We use the training data to find an algebraic representation with minimal size and maximal freedom, explicitly expressed as a product of irreducible components. This algebraic representation is shown to directly generalize, giving high accuracy in test data, more so the smaller the representation. We prove that the number of generalizing representations can be very large and the algebra only needs to find one. We also derive and test a relationship between compression and error rate. We give results for a simple problem solved step by step, hand-written character recognition, and the Queens Completion problem as an example of unsupervised learning. As an alternative to statistical learning, algebraic learning may offer advantages in combining bottom-up and top-down information, formal concept derivation from data and large-scale parallelization.

연구 동기 및 목표

• 통계적 기계학습에서 흔히 발생하는 함수 최소화와 과적합을 피하는 매개변수 없는 이산 학습 프레임워크를 개발한다.
• 오차 최소화에 의존하지 않고, 최소화된 기초 불가분 성분(원자)으로의 대수적 압축을 통해 일반화를 가능하게 한다.
• 학습에서 압축도(원자 수)와 테스트 오차율 사이의 이론적 및 실험적 연결을 수립한다.
• 손글씨 숫자 분류 및 N-퀸 완성 문제를 포함한 지도 및 비지도 문제에서 이 방법의 효과성을 입증한다.
• 학습된 원자에서 대칭성의 활용을 탐색하여 추가 학습 없이도 새로운 해를 생성한다.

제안 방법

• 데이터와 관계를 표현하기 위해 확장된 반순서대수 대수를 사용하며, 학습은 학습 제약 조건을 만족하는 최소 기초 원자 집합을 찾는 것으로 정의된다.
• 희소 교차(Sparse Crossing) 연산을 통해 원자를 조합하면서 추적 및 추적 제약 규칙을 강제하여 후보 대수적 해를 생성한다.
• 중복 원자를 제거함으로써 표현을 단순화하는 감소 연산을 통해 최소 기수를 보장한다.
• 유동소수 연산 없이 확률적 이산 알고리즘을 통해 원자화를 수행함으로써 기울기 기반 방법의 국소 최소값 문제를 피한다.
• 배치 학습을 사용하여 원자 집합을 반복적으로 개선하며, 원자 수가 적은 해를 선호한다.
• 입력 데이터의 대칭성(예: 이미지의 행/열 순열)은 학습된 원자의 구조에 반영되어 대칭 연산을 통해 새로운 원자를 자유롭게 유도할 수 있다.

실험 결과

연구 질문

• RQ1 매개변수 없는 이산 대수적 방법이 함수 최소화 없이 과적합 없이 일반화를 달성할 수 있는가?
• RQ2 대수적 표현의 크기(원자 수)와 결과 오차율 사이의 관계는 무엇인가?
• RQ3 입력 데이터의 대칭성은 학습된 대수적 원자 구조에 어떻게 반영되는가?
• RQ4 노이즈가 섞이거나 잘못 레이블링된 학습 데이터가 있을 경우에도 대수적 학습이 효과적으로 일반화될 수 있는가?
• RQ5 대칭성 활용을 통해 추가 학습 없이 얼마나 많은 새로운 유효한 원자를 생성할 수 있는가?

주요 결과

• 테스트 데이터의 오차율은 압축률(원자 수)에 반비례하며, 짝수-홀수 수직막대 분류 문제에서 실험적으로 검증되었다.
• 7×7 및 10×10 격자에서 대칭성에 기인한 디게너시를 고려한 후, 오차와 역압축 간 비례 상수는 이론 예측값과 각각 10% 이내, 5% 이내로 일치하였다.
• 손글씨 숫자 분류에서 대수적 학습은 과적합 없이 약 99%의 정확도를 달성했으며, 잘못 레이블링된 학습 데이터가 존재하더라도 명시적 정확도 목표 없이도 성능을 유지했다.
• 일반화 가능한 표현의 수는 천문학적 수준으로 매우 크지만, 알고리즘은 하나의 표현만 찾으면 되므로 강건성과 확장성의 가능성을 보였다.
• 입력 데이터의 대칭성(예: 행/열 순열)은 대칭적인 원자로 이어지며, 대칭 연산을 통해 '무료'로 새로운 원자를 생성할 수 있어 효율성이 향상된다.
• 오차율이 감소함에 따라 이론 예측에 수렴하며, 오차율이 낮을 경우 희소 교차 알고리즘이 이론적 오차-압축 경계에 가까워진다.