[논문 리뷰] Informed Pre-Training on Prior Knowledge

Laura von Rueden, Sebastian Houben외 3명|arXiv (Cornell University)|2022. 05. 23.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 그래프, 방정식 또는 템플릿과 같은 형식적 지식 표현을 신경망 미리 훈련을 위한 압축된 지식 프로토타입으로 변환함으로써 사전 지식에 기반한 인formed 미리 훈련을 제안한다. 이 방법은 수렴 속도를 가속화하고, 소규모 데이터 이미지 분류에서 일반화 능력을 최대 11% 향상시키며, 분포 외 데이터에 대한 강건성도 15% 향상시킨다. 이러한 향상은 주로 깊이 있는 네트워크 레이어에서의 고수준 의미적 특징에 의해 이뤄지며, 기존의 데이터 기반 미리 훈련과는 다를 바 있는 새로운 형태의 의미 전이를 보여준다.

ABSTRACT

When training data is scarce, the incorporation of additional prior knowledge can assist the learning process. While it is common to initialize neural networks with weights that have been pre-trained on other large data sets, pre-training on more concise forms of knowledge has rather been overlooked. In this paper, we propose a novel informed machine learning approach and suggest to pre-train on prior knowledge. Formal knowledge representations, e.g. graphs or equations, are first transformed into a small and condensed data set of knowledge prototypes. We show that informed pre-training on such knowledge prototypes (i) speeds up the learning processes, (ii) improves generalization capabilities in the regime where not enough training data is available, and (iii) increases model robustness. Analyzing which parts of the model are affected most by the prototypes reveals that improvements come from deeper layers that typically represent high-level features. This confirms that informed pre-training can indeed transfer semantic knowledge. This is a novel effect, which shows that knowledge-based pre-training has additional and complementary strengths to existing approaches.

연구 동기 및 목표

• 제한된 레이블 데이터로 깊이 있는 신경망을 훈련시키는 데 어려움을 해결하기 위해 구조화된 사전 지식을 통합하는 것.
• 간결하고 형식적인 지식 표현을 기반으로 한 미리 훈련이 기존의 데이터 기반 미리 훈련을 초월해 모델 성능을 향상시킬 수 있는지 탐구하는 것.
• 지식 기반 미리 훈련이 저수준 패턴이 아닌 고수준 의미적 특징을 전이하는지 조사하는 것.
• 데이터 기반(예: ImageNet)과 지식 기반 미리 훈련의 조합이 유용한지 평가하는 것.
• 형식적 지식을 프로토타입으로 사용해 보편적이고 도메인에 관계없이 적용 가능한 모델 초기화 방법을 개발하는 것.

제안 방법

• 그래프, 방정식 또는 시각적 템플릿과 같은 형식적 사전 지식을 소규모로 압축된 지식 프로토타입 데이터셋으로 변환한다.
• 실제로 부족한 훈련 데이터에 대해 피지컬 훈련하기 전에 이러한 지식 프로토타입으로 신경망을 미리 훈련시킨다.
• 표준 딥러닝 아키텍처(예: CNN)를 사용하고, 성능 기여도를 분석하기 위해 계층별 기여도를 분석함으로써 전이 학습을 적용한다.
• 기존의 방법(예: 무작위 초기화, ImageNet 미리 훈련, 동시 지식 통합)과 비교하여 지식 프로토타입 기반 미리 훈련의 영향을 평가한다.
• 일반화 능력을 평가하기 위해 분류(예: GTSRB, MNIST, USPS) 및 회귀(NOAA CO2) 작업에 모두 적용한다.
• 진행적으로 레이어를 동결하고 프리트레인드 모델의 레이어를 전이함으로써 특징 전이를 분석한다.

실험 결과

연구 질문

• RQ1 형식적이고 간결한 지식 프로토타입 기반 미리 훈련이 저데이터 환경에서 모델 성능을 향상시킬 수 있는가?
• RQ2 지식 기반 미리 훈련이 저수준 시각적 패턴이 아닌 고수준 의미적 특징을 전이하는가?
• RQ3 성능 및 계층 수준 기여도 측면에서 전통적인 데이터 기반 미리 훈련과 비교해 인formed 미리 훈련은 어떻게 다른가?
• RQ4 지식 기반 미리 훈련을 데이터 기반 미리 훈련과 조합하여 추가적인 성능 향상을 이룰 수 있는가?
• RQ5 제안된 방법은 다양한 도메인과 지식 표현 유형에 적용 가능한가?

주요 결과

• 지식 프로토타입 기반 미리 훈련은 MNIST 및 GTSRB와 같은 소규모 데이터 이미지 분류 벤치마크에서 테스트 정확도를 최대 11% 향상시켰다.
• 이 방법은 분포 외 데이터에 대한 강건성을 15% 향상시켜, 새로운 데이터 분포로의 일반화 능력 향상이 뚜렷하게 나타났다.
• 성능 향상은 주로 고수준 의미적 특징을 표현하는 깊은 네트워크 레이어에서 기인했으며, 이는 의미적 지식이 효과적으로 전이된다는 것을 확인한다.
• 기존의 미리 훈련 방식이 초기 레이어에 유리한 반면, 인formed 미리 훈련은 후기 레이어를 강화함으로써 새로운 메커니즘인 '지식 기반 전이 학습'을 드러낸다.
• ImageNet 미리 훈련과 이후 지식 기반 미리 훈련을 조합함으로써 테스트 정확도가 추가로 13% 향상되었으며, 이는 상호 보완적인 강점을 보여준다.
• 동시 지식 통합 방법보다 성능이 뛰어나며, 지식 기반 미리 훈련을 사전 훈련 단계로 사용할 경우 가장 효과적이었으며, 새로운 데이터에 대한 적응 유연성을 유지했다.