[논문 리뷰] A Regression Tsetlin Machine with Integer Weighted Clauses for Compact Pattern Representation

K. Darshana Abeyrathna, Ole‐Christoffer Granmo외 1명|arXiv (Cornell University)|2020. 02. 04.

Optimization and Search Problems참고 문헌 6인용 수 5

한 줄 요약

이 논문은 정수 가중치를 갖는 회귀 Tsetlin 기계(RTM-IW)를 소개한다. 이는 동일한 문장들을 하나의 문장으로 가중치를 통해 대체함으로써 컴팩트하고 해석 가능한 회귀 모델이다. 무작위 선상 탐색을 통해 가중치 학습을 수행함으로써, 계산 비용을 최대 4,000배까지 감소시키면서도 표준 RTM 및 실수 가중치가 있는 RTM와 비슷하거나 더 높은 정확도를 달성한다. 이는 여섯 개인 인공 데이터셋에서 입증되었다.

ABSTRACT

The Regression Tsetlin Machine (RTM) addresses the lack of interpretability impeding state-of-the-art nonlinear regression models. It does this by using conjunctive clauses in propositional logic to capture the underlying non-linear frequent patterns in the data. These, in turn, are combined into a continuous output through summation, akin to a linear regression function, however, with non-linear components and unity weights. Although the RTM has solved non-linear regression problems with competitive accuracy, the resolution of the output is proportional to the number of clauses employed. This means that computation cost increases with resolution. To reduce this problem, we here introduce integer weighted RTM clauses. Our integer weighted clause is a compact representation of multiple clauses that capture the same sub-pattern-N repeating clauses are turned into one, with an integer weight N. This reduces computation cost N times, and increases interpretability through a sparser representation. We further introduce a novel learning scheme that allows us to simultaneously learn both the clauses and their weights, taking advantage of so-called stochastic searching on the line. We evaluate the potential of the integer weighted RTM empirically using six artificial datasets. The results show that the integer weighted RTM is able to acquire on par or better accuracy using significantly less computational resources compared to regular RTMs. We further show that integer weights yield improved accuracy over real-valued ones.

연구 동기 및 목표

• 표준 회귀 Tsetlin 기계(RTM)의 높은 계산 비용과 제한된 해석 가능성 문제를 해결한다. 이는 문장 수에 따라 선형적으로 증가한다.
• N개의 동일한 문장을 하나의 문장으로 가중치 N을 부여함으로써 모델의 컴팩트성과 해석 가능성을 향상시킨다.
• 단순한 증가/감소 연산만을 사용하여 효율적으로 정수 가중치를 업데이트할 수 있는 새로운 학습 기법인 선상에서의 무작위 탐색(SOL)을 개발한다.
• 실수 가중치 Tsetlin 기계에서 요구되는 추가 하이퍼파rameter(예: 학습률)가 필요 없도록 한다.
• 정수 가중치가 표준 RTM 및 실수 가중치가 있는 RTM보다 훨씬 적은 문장 수로도 동일하거나 더 높은 회귀 정확도를 달성할 수 있음을 입증한다.

제안 방법

• 동일한 하위 패턴을 정수 가중치 문장으로 표현함으로써, 가중치 N을 갖는 문장은 N개의 동일한 문장과 의미적으로 동일하다.
• 정수 가중치 학습을 위한 선상에서의 무작위 탐색(SOL) 알고리즘을 도입하여, 곱셈 기반 업데이트를 단순한 증가/감소 연산으로 대체한다.
• RTM의 Type I 및 Type II 피드백 메커니즘에 정수 가중치 학습을 통합함으로써 원래의 학습 동역학을 유지한다.
• 정규화된 회귀 함수를 사용한다: $ y = \frac{1}{T} \sum_{j=1}^{m} w_j \cdot \prod_{k \in I_j} l_k $, 여기서 $ w_j $ 는 문장 $ j $ 의 정수 가중치이다.
• 예측 오차 기반으로 백프로파게이션 없이 온라인 방식으로 학습 기법을 무작위적으로 적용하여 가중치를 업데이트한다.
• 문장 생성과 함께 정수 가중치를 종단 간(end-to-end)으로 학습시켜 해석 가능성과 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 정수 가중치 문장을 사용하면 RTM에서 정확한 회귀를 달성하기 위해 필요한 문장 수를 크게 줄일 수 있을까? 성능은 유지되거나 향상되는가?
• RQ2 제안된 선상에서의 무작위 탐색(SOL) 기반 정수 가중치 학습 방법이 정확도와 계산 효율성 측면에서 실수 가중치 학습보다 뛰어나게 되는가?
• RQ3 동일한 문장을 하나의 정수 가중치 문장으로 압축함으로써 RTM의 해석 가능성은 어떻게 향상되는가?
• RQ4 데이터의 노이즈가 RTM-IW에서 학습된 정수 가중치의 분포에 어떤 영향을 미치는가?
• RQ5 정수 가중치가 있는 RTM은 더 적은 문장 수로 표준 RTM 및 실수 가중치가 있는 RTM보다 더 낮은 평균 절대 오차(MAE)를 달성할 수 있는가?

주요 결과

• Dataset IV에서 RTM-IW는 2,000개의 문장으로 평균 절대 오차(MAE) 5.3726을 달성했으며, 표준 RTM가 5,000개의 문장으로 달성한 최고의 MAE 5.5000을 초월했다.
• Dataset VI에서 RTM-IW는 4,000개의 문장으로 MAE 2.1397을 기록했고, RTM는 1,500개의 문장으로 달성한 최고의 MAE 2.2793보다 우수했다.
• 모든 여섯 개인 데이터셋에 대한 평균 테스트 MAE는 RTM-IW가 4.682였고, 실수 가중치가 있는 RTM는 5.417이었다. 이는 더 뛰어난 일반화 성능을 의미한다.
• 노이즈가 없는 데이터(예: Dataset III)의 경우, 가중치 분포는 약 100을 중심으로 정규 분포 형태를 띠었으며, 대부분의 문장들이 중간 정도의 가중치를 갖는 것으로 나타났다.
• 노이즈가 있는 데이터(예: Dataset IV)의 경우, 가중치 분포는 지수 분포를 띠었고, 많은 비율의 문장들이 효과적으로 끈(가중치 = 0) 상태로 전환되어 노이즈에 대한 강건성을 보였다.
• 표준 RTM에 비해 계산 비용을 최대 4,000배까지 감소시켰다. 이는 4,000개의 동일한 문장을 하나의 문장으로 가중치 4,000으로 대체함으로써 달성되었다.