[논문 리뷰] Knowledge-augmented Deep Learning and Its Applications: A Survey

Zijun Cui, Tian Gao외 2명|arXiv (Cornell University)|2022. 11. 30.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 종합 검토는 다양한 분야 지식—과학적 지식과 경험적 지식—를 체계적으로 식별, 표현 및 통합함으로써 데이터 효율성, 일반화 능력 및 해석 가능성 향상을 위한 지식 보강 딥러닝(KADL) 프레임워크를 소개한다. 지식 유형과 표현 방식에 대한 새로운 분류 체계를 제안하고, 컴퓨터 비전, 자연어 처리 및 과학 모델링 분야에서의 통합 방법론에 대한 종합적 검토를 수행하며, 하이브리드 통합, 불확실성 모델링, 결정 수준 융합과 같은 주요 과제와 향후 방향성을 밝힌다.

ABSTRACT

Deep learning models, though having achieved great success in many different fields over the past years, are usually data hungry, fail to perform well on unseen samples, and lack of interpretability. Various prior knowledge often exists in the target domain and their use can alleviate the deficiencies with deep learning. To better mimic the behavior of human brains, different advanced methods have been proposed to identify domain knowledge and integrate it into deep models for data-efficient, generalizable, and interpretable deep learning, which we refer to as knowledge-augmented deep learning (KADL). In this survey, we define the concept of KADL, and introduce its three major tasks, i.e., knowledge identification, knowledge representation, and knowledge integration. Different from existing surveys that are focused on a specific type of knowledge, we provide a broad and complete taxonomy of domain knowledge and its representations. Based on our taxonomy, we provide a systematic review of existing techniques, different from existing works that survey integration approaches agnostic to taxonomy of knowledge. This survey subsumes existing works and offers a bird's-eye view of research in the general area of knowledge-augmented deep learning. The thorough and critical reviews of numerous papers help not only understand current progresses but also identify future directions for the research on knowledge-augmented deep learning.

연구 동기 및 목표

• 데이터 소비가 크고 해석이 어려운 딥러닝 모델의 한계를 극복하기 위해 도메인 지식을 통합한다.
• KADL의 세 가지 핵심 과제인 지식 식별, 표현, 통합을 정의하고 체계화한다.
• 이전의 좁은 분야 중심의 종합 검토를 뛰어넘어 과학적 지식과 경험적 지식을 포함한 광범위하고 통합적인 도메인 지식 분류를 제공한다.
• 지식 유형에 따라 통합 기법을 검토하여 과학적 지식과 경험적 지식 응용 간의 차이를 명확히 한다.
• 불확실성 모델링, 하이브리드 통합, 결정 수준 융합과 같은 열려 있는 과제를 밝혀내어 모델의 강건성과 해석 가능성 향상에 기여한다.

제안 방법

• 도메인 지식을 과학적 지식(예: 물리 법칙, 수학적 방정식)과 경험적 지식(예: 규칙, 사실, 힌트)으로 나누는 새로운 분류 체계를 제안한다.
• 지식 표현 형식을 기호 논리, 지식 그래프, 확률 모델, 수학적 방정식 등으로 분류한다.
• 데이터 기반 학습 시점 통합과 사전 모델 기반 결정 수준 융합을 구분하여 지식 통합 기법을 체계적으로 검토한다.
• 지식 유형별로 통합 방법을 분류하여 과학적 지식에 대한 물리 기반 신경망과 경험적 지식에 대한 신경 기반 기호 모델을 각각 다룬다.
• 지식 유형에서 표현 형식과 통합 방법으로 이어지는 지침 트리(그림 9)를 제안하여 KADL 설계의 가이드라인으로 활용한다.
• 불확실성 인식 통합의 필요성을 강조하며, 과학적 지식과 경험적 지식 양쪽에서의 불확실성을 포괄하는 확률 그래픽 모델의 활용을 주장한다.

실험 결과

연구 질문

• RQ1 딥러닝 응용에서 다양한 종류의 도메인 지식—과학적 지식과 경험적 지식—을 체계적으로 식별하고 분류할 수 있는 방법은 무엇인가?
• RQ2 다양한 종류의 도메인 지식에 가장 효과적인 표현 형식은 무엇이며, 이는 모델 성능에 어떤 영향을 미치는가?
• RQ3 지식을 딥러닝 모델에 어떻게 통합할 수 있을까? 이는 데이터 효율성, 일반화 능력 및 해석 가능성 향상에 어떻게 기여하는가?
• RQ4 현재의 통합 방법에는 어떤 한계가 있으며, 특히 불확실성 처리와 다수의 지식 유형 통합에 있어 문제는 무엇인가?
• RQ5 강건하고 일반화 가능하며 해석 가능한 지식 보강 딥러닝을 달성하기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 이 검토는 과학적 지식(예: 물리 법칙)과 경험적 지식(예: 규칙, 힌트)을 명확히 구분하는 종합적인 도메인 지식 분류 체계를 수립하였으며, 이는 이전의 좁은 범위의 종합 검토를 초월한다.
• 기존의 통합 방법은 주로 데이터와 함께 공동으로 학습되며, 데이터와 지식 간의 원칙적인 분리가 부족하여 해석 가능성과 유연성에 제한을 받는다.
• 결정 수준 융합—지식 기반 사전 모델과 데이터 기반 예측을 조합하는 방식—은 종합적 학습 시점 통합보다 더 모듈러하고 해석 가능한 대안을 제공한다.
• 다양한 기법(예: 아키텍처 설계, 정규화, 개선)을 융합하는 하이브리드 통합 방법은 아직 탐색되지 않았지만, 상호 보완적인 강점을 활용하기에 유망한 분야이다.
• 현재의 방법들은 과학적 지식과 경험적 지식 양쪽에서의 불확실성을 대부분 간과하고 있으며, 이러한 불확실성을 확률 모델링하는 것은 여전히 열려 있는 과제이다.
• 이 검토는 실생활 응용 중심의 KADL 연구에 있어 심각한 격차를 밝혀내었으며, 대부분의 기존 연구가 넓은 실용적 적용이 아닌 실험실 규모의 과학 문제에 국한되어 있음을 지적한다.