[논문 리뷰] Applying MDL to Learning Best Model Granularity

Qiong Gao, Ming Li외 1명|ArXiv.org|2000. 05. 23.

Computability, Logic, AI Algorithms참고 문헌 14인용 수 5

한 줄 요약

이 논문은 콜모고로프 복잡도에 기반한 최소 기술 길이(MDL) 원리를 적용하여 손글씨 문자 인식과 로봇 팔 모델링이라는 두 가지 다른 학습 과제에서 최적의 모델 분할(granularity)을 결정한다. 두 부분의 코드(모델 + 데이터 오차)를 통해 데이터를 가장 잘 압축하는 모델을 선택함으로써 MDL는 최적의 파라미터 분할(예: 샘플링 간격 또는 은닉층 크기)을 식별하며, 두 실험 모두에서 이론적으로 예측된 최적 값이 실제로 가장 잘 성능을 내는 설정과 일치한다.

ABSTRACT

The Minimum Description Length (MDL) principle is solidly based on a provably ideal method of inference using Kolmogorov complexity. We test how the theory behaves in practice on a general problem in model selection: that of learning the best model granularity. The performance of a model depends critically on the granularity, for example the choice of precision of the parameters. Too high precision generally involves modeling of accidental noise and too low precision may lead to confusion of models that should be distinguished. This precision is often determined ad hoc. In MDL the best model is the one that most compresses a two-part code of the data set: this embodies ``Occam's Razor.'' In two quite different experimental settings the theoretical value determined using MDL coincides with the best value found experimentally. In the first experiment the task is to recognize isolated handwritten characters in one subject's handwriting, irrespective of size and orientation. Based on a new modification of elastic matching, using multiple prototypes per character, the optimal prediction rate is predicted for the learned parameter (length of sampling interval) considered most likely by MDL, which is shown to coincide with the best value found experimentally. In the second experiment the task is to model a robot arm with two degrees of freedom using a three layer feed-forward neural network where we need to determine the number of nodes in the hidden layer giving best modeling performance. The optimal model (the one that extrapolizes best on unseen examples) is predicted for the number of nodes in the hidden layer considered most likely by MDL, which again is found to coincide with the best value found experimentally.

연구 동기 및 목표

• 이론적 모델 선택 기법인 MDL를 실생활 문제에 적용해 실제 기계 학습과의 다리를 놓는 것.
• 사전 설정된 조정 없이도 최적의 모델 분할(예: 파라미터 정밀도 또는 네트워크 아키텍처)을 결정하는 것.
• MDL가 이론적으로 예측한 최소 기술 길이가 실제로 가장 우수한 일반화 성능과 일치하는지 검증하는 것.
• MDL가 이산화 또는 구조적 선택이 필요한 지도 학습 과제에서 모델 설계를 이끌 수 있는지 보여주는 것.

제안 방법

• 모델과 데이터 오차의 총 기술 길이를 최소화하는 모델 선택을 위해 MDL 원리를 사용한다.
• 최소 기술 길이를 모델의 단순성과 일반화 능력의 대체 척도로 해석하기 위해 콜모고로프 복잡도를 이론적 기초로 삼는다.
• 두 부분의 코딩 체계를 사용한다: 하나는 모델 파라미터를 기술하고, 다른 하나는 모델과 데이터 간 잔차 오차를 기술한다.
• 알고리즘적 확률(일반 분포 m)을 사용하여 콜모고로프 복잡도에 기반한 사전 확률을 할당하고, 단순한 모델을 선호한다.
• 실험에서는 모델 분할(예: 샘플링 간격, 은닉 노드 수 등)을 변화시키고 총 기술 길이가 최소가 되는 값을 선택한다.
• MDL 최적화 파라미터를 두 가지 다른 학습 과제에서 실증적으로 도출된 최적값과 비교하여 예측을 검증한다.

실험 결과

연구 질문

• RQ1 MDL 원리는 실생활 학습 과제에서 최적의 모델 분할을 신뢰성 있게 예측할 수 있는가?
• RQ2 최소 기술 길이로 정의된 이론적 최적 모델 분할이 실제로 가장 우수한 일반화 성능을 내는가?
• RQ3 MDL는 손글씨 문자 인식에서 최적의 샘플링 간격을 선택하는 데 얼마나 잘 작동하는가?
• RQ4 MDL를 사용하여 로봇 팔 모델링에서 최적의 은닉 노드 수를 결정할 수 있는가?

주요 결과

• 손글씨 문자 인식에서 MDL가 예측한 샘플링 간격(분할)은 실증적으로 최적의 값과 일치하여 가장 높은 예측 정확도를 달성했다.
• 3층 신경망을 사용한 로봇 팔 모델링에서 MDL가 예측한 은닉 노드 수는 새로운 데이터에 대한 외삽 성능이 가장 뛰어난 실증적 최적 설정과 일치했다.
• 이론적 MDL 모델 선택은 사전 설정된 파라미터 설정보다 항상 뛰어나며, 다양한 분야에 걸쳐 뛰어난 안정성을 보였다.
• 결과는 MDL의 압축 기반 접근 방식이 실증 성능과 일치함을 입증하며, 모델 분할 선택에 있어 원칙적인 방법으로서의 유용성을 뒷받침한다.
• 이 연구는 비록 복잡한 적응이 필요하지 않더라도, 비틀린 과제에서도 실생활 학습 시스템에 직접 MDL를 적용할 수 있음을 보여준다.