[논문 리뷰] From Machine Learning to Machine Reasoning

Léon Bottou|arXiv (Cornell University)|2011. 02. 09.

Machine Learning and Algorithms참고 문헌 20인용 수 24

한 줄 요약

이 논문은 기계 학습 모듈의 대수적 조작으로서 기계 추론의 개념적 프레임워크를 제안하며, 추론이 모듈러 학습 시스템의 조합과 정밀 조정을 통해 자연스럽게 유도된다고 주장한다. 시스템 조합을 대수적 연산으로 간주함으로써, 명시적 기호적 또는 확률적 추론 엔진이 필요로 하지 않고도 추론을 가능하게 하며, 모듈러 통합과 조정을 통해 학습에서 추론으로의 연속적인 경로를 보여준다.

ABSTRACT

A plausible definition of "reasoning" could be "algebraically manipulating previously acquired knowledge in order to answer a new question". This definition covers first-order logical inference or probabilistic inference. It also includes much simpler manipulations commonly used to build large learning systems. For instance, we can build an optical character recognition system by first training a character segmenter, an isolated character recognizer, and a language model, using appropriate labeled training sets. Adequately concatenating these modules and fine tuning the resulting system can be viewed as an algebraic operation in a space of models. The resulting model answers a new question, that is, converting the image of a text page into a computer readable text. This observation suggests a conceptual continuity between algebraically rich inference systems, such as logical or probabilistic inference, and simple manipulations, such as the mere concatenation of trainable learning systems. Therefore, instead of trying to bridge the gap between machine learning systems and sophisticated "all-purpose" inference mechanisms, we can instead algebraically enrich the set of manipulations applicable to training systems, and build reasoning capabilities from the ground up.

연구 동기 및 목표

• 기계 추론을 별개의 능력으로 재정의하는 것, 즉 이전에 학습된 모델의 대수적 조작으로서의 추론을 제안하는 것.
• 기계 학습 시스템과 고수준 추론 사이의 인식된 격차를 메우기 위해, 추론이 모듈러 조합을 통해 유도될 수 있음을 보여주는 것.
• 학습 가능한 모델에 적용 가능한 대수적 연산의 집합을 확장하여 추론을 향한 실용적이고 확장 가능한 경로를 제안하는 것.
• 텍스트 인식과 같은 복잡한 추론 작업이 간단한 학습된 구성 요소들의 체계적 조합을 통해 달성될 수 있음을 보여주는 것.

제안 방법

• 기계 학습 모델의 대수적 조작으로서 추론을 정의하며, 여기서 연산은 연결, 정밀 조정, 학습된 모듈의 조합 포함.
• 문자 분할기, 고립된 문자 인식기, 언어 모델과 같은 모듈러 학습 시스템을 빌딩 블록으로 사용.
• 새로운 작업에 대한 성능을 최적화하기 위해 조합된 시스템에 대한 정밀 조정을 적용하며, 이를 추론의 한 형태로 간주.
• 모델 공간으로서의 과정을 형식화하여, 연산을 학습된 구성 요소 위에서 정의함으로써 체계적인 추론을 가능하게 함.
• 간단한 모델 조합과 논리적 또는 확률적 추론 시스템과의 유사성 제시.
• 학습에서 추론으로의 연속적인 스펙트럼으로서의 접근을 위치지어, 두 영역 간의 명확한 경계가 필요 없도록 하는 것.

실험 결과

연구 질문

• RQ1 추론 엔진을 별도로 도입하지 않고도 기계 학습 모델의 대수적 조합을 통해 추론을 달성할 수 있는가?
• RQ2 기본 기호적 또는 확률적 형식 체계를 도입하지 않고서도 기계 학습과 고수준 추론 사이의 격차를 메울 수 있는가?
• RQ3 기존 구성 요소가 직접 다루지 않는 새로운 질문에 답하기 위해 학습된 모델에 적용 가능한 대수적 연산은 무엇인가?
• RQ4 복잡한 추론 작업이 얼마나 깊이 모듈러 학습 및 조합 단계로 분해될 수 있는가?
• RQ5 간단한 모델 조합과 확률적 또는 논리적 추론과 같은 고도로 발전된 추론 메커니즘 사이에 개념적 연속성이 존재하는가?

주요 결과

• 추론은 별도의 추론 레이어가 필요 없이 기계 학습의 자연스러운 연장선으로서 학습된 구성 요소의 대수적 조합을 통해 볼 수 있다.
• 문자 분할기, 인식기, 언어 모델의 조합이 하나의 시스템으로 통합되는 것은 전체 텍스트 인식이라는 새로운 질문에 답할 수 있기 때문에 추론의 한 형태로 간주된다.
• 조합된 시스템에 대한 정밀 조정은 모델 공간 내에서 대수적 연산과 동치이며, 이는 추론이 모듈러 통합을 통해 달성될 수 있음을 보여준다.
• 이 접근법은 간단한 모델 연결과 복잡한 추론 시스템(논리적 또는 확률적 추론 등) 사이에 개념적 연속성을 확립한다.
• 이 프레임워크는 존재하는 기계 학습 구성 요소들로부터 점진적이고 체계적인 방식으로 추론 능력을 구축할 수 있도록 한다.
• 논문은 추론이 아키텍처의 근본적 전환을 요구하지 않으며, 학습된 모델에 대한 더 풍부한 연산을 통해 유도될 수 있음을 보여준다.