[논문 리뷰] Informed Machine Learning - Towards a Taxonomy of Explicit Integration of Knowledge into Machine Learning.

Laura von Rüden, Sebastian Mayer외 3명|arXiv (Cornell University)|2019. 03. 29.

Machine Learning in Materials Science참고 문헌 11인용 수 40

한 줄 요약

이 논문은 데이터 부족 문제를 해결하기 위해 명시적 지식을 기계학습 파이프라인에 통합하는 데 초점을 맞춘 포괄적인 분류 체계를 제안한다. 지식 유형, 표현 방식, 통합 방법을 분류함으로써 다양한 방법에 걸쳐 체계적인 분석이 가능해지고 핵심 접근 방식이 드러난다.

ABSTRACT

Despite the great successes of machine learning, it can have its limits when dealing with insufficient training data.A potential solution is to incorporate additional knowledge into the training process which leads to the idea of informed machine learning. We present a research survey and structured overview of various approaches in this field. We aim to establish a taxonomy which can serve as a classification framework that considers the kind of additional knowledge, its representation,and its integration into the machine learning pipeline. The evaluation of numerous papers on the bases of the taxonomy uncovers key methods in this field.

연구 동기 및 목표

• 외부 지식을 명시적으로 통합하여 저데이터 환경에서의 기계학습의 한계를 해결한다.
• 지식 유형, 표현 방식, 통합 방법을 기반으로 기존의 지식 통합 기계학습 접근 방식을 체계적으로 분류한다.
• 미래 연구를 안내하고 지식 통합 학습의 투명성과 재현 가능성을 향상시키기 위해 통합된 프레임워크를 개발한다.
• 제안된 분류 체계를 사용하여 평가함으로써 분야 내 핵심 방법을 식별하고 분석한다.
• 다양한 방법 간 비교를 용이하게 하고 지식 통합 기법에 대한 연구 격차를 부각시킨다.

제안 방법

• 지식 유형(예: 논리적, 관계적, 구조적), 표현 형식(예: 기호적, 신경망 기반, 확률적), 통합 메커니즘(예: 손실 제약, 아키텍처 수정, 데이터 증강)을 포함한 다차원 분류 체계를 제안한다.
• 지식 통합 기계학습 분야의 광범위한 문헌을 조사하고 분석하여 기존 접근 방식을 이 분류 체계에 매핑한다.
• 지식이 모델 학습, 추론, 또는 양자 모두에 통합되는지에 따라 분류하고, 최적화 또는 아키텍처에 미치는 영향을 분석한다.
• 다양한 지식 통합 전략 간의 패턴과 반복되는 설계 선택 사항을 식별하기 위해 분류 체계를 활용한다.
• 지식 표현 방식과 학습 목표와의 일치 여부를 평가함으로써 통합 기법의 효과성과 일관성을 평가한다.
• 종속성의 차별화, 모듈성, 지식 주입 과정에서의 감독의 역할과 같은 방법론적 차이점을 부각시킨다.

실험 결과

연구 질문

• RQ1 기계학습 맥락에서 다양한 형태의 외부 지식를 체계적으로 분류할 수 있는 방법은 무엇인가요?
• RQ2 지식이 기계학습 파이프라인에 어떻게 표현되고 통합되는지 주로 나타나는 패턴은 무엇인가요?
• RQ3 손실 기반, 아키텍처 기반, 데이터 수준 기반 등의 통합 메커니즘 중 어떤 것이 다양한 지식 유형에 대해 가장 효과적인가요?
• RQ4 다양한 지식 표현 형식은 모델 성능과 학습 동역학에 어떤 영향을 미치나요?
• RQ5 지식 통합의 현재 경계에서 주로 나타나는 방법론적 격차와 반복적인 과제는 무엇인가요?

주요 결과

• 제안된 분류 체계는 지식 유형, 표현 방식, 통합 방법을 기반으로 다양한 지식 통합 기계학습 접근 방식을 효과적으로 정리한다.
• 지식 표현 방식이 학습 과제와 모델 아키텍처와 일치할 때 지식 통합이 가장 효과적이다.
• 손실 기반 및 아키텍처 기반 통합 방법은 구조적 또는 관계적 지식이 있는 시나리오에서 뛰어난 성능을 보인다.
• 분류 체계는 많은 접근 방식이 지식의 정확성과 일반화에 미치는 영향을 공식적으로 평가하지 못하고 있음을 드러낸다.
• 엔드 투 엔드 학습 파이프라인에서 동적 또는 다중 소스 지식 통합을 지원하는 방법에 명백한 격차가 있다.
• 조사 결과, 기호적 표현과 신경망 표현을 결합할 때 지식의 기반을 다지는 데 빈번한 과제가 존재한다.