[논문 리뷰] Knowledge Infused Learning (K-IL): Towards Deep Incorporation of Knowledge in Deep Learning

Ugur Kursuncu, Manas Gaur외 1명|arXiv (Cornell University)|2019. 12. 01.

Explainable Artificial Intelligence (XAI)인용 수 24

한 줄 요약

이 논문은 지식 그래프(KGs)에서 유래한 구조적 지식을 딥 뉴럴 네트워크의 은닉 레이어에 깊이 통합하여 표현 학습을 향상시키는 신경-기호 프레임워크인 지식 통합 학습(K-IL)을 제안한다. K-IL은 지식 그래프와 딥 특징 간의 의미 공간을 정 stabilizing, 실바스터 최적화된 변환을 통해 정렬함으로써 편향, 오진 경고, 데이터 의존도를 감소시키고, 실제 AI 응용 분야에서 설명 가능성, 강건성, 일반화 능력을 향상시킨다.

ABSTRACT

Learning the underlying patterns in data goes beyond instance-based generalization to external knowledge represented in structured graphs or networks. Deep learning that primarily constitutes neural computing stream in AI has shown significant advances in probabilistically learning latent patterns using a multi-layered network of computational nodes (i.e., neurons/hidden units). Structured knowledge that underlies symbolic computing approaches and often supports reasoning, has also seen significant growth in recent years, in the form of broad-based (e.g., DBPedia, Yago) and domain, industry or application specific knowledge graphs. A common substrate with careful integration of the two will raise opportunities to develop neuro-symbolic learning approaches for AI, where conceptual and probabilistic representations are combined. As the incorporation of external knowledge will aid in supervising the learning of features for the model, deep infusion of representational knowledge from knowledge graphs within hidden layers will further enhance the learning process. Although much work remains, we believe that knowledge graphs will play an increasing role in developing hybrid neuro-symbolic intelligent systems (bottom-up deep learning with top-down symbolic computing) as well as in building explainable AI systems for which knowledge graphs will provide scaffolding for punctuating neural computing. In this position paper, we describe our motivation for such a neuro-symbolic approach and framework that combines knowledge graph and neural networks.

연구 동기 및 목표

• 딥 러닝의 한계—예를 들어 데이터 부족, 편향, 희소성, 설명 불가능성—을 지식 그래프(KGs)에서 유래한 구조적 지식을 신경망 표현에 직접 통합하여 해결하고자 한다.
• 표현 학습 단계 동안 외부 지식을 깊이 있고 원칙적인 방식으로 통합할 수 있는 신경-기호 프레임워크를 개발하고자 한다. 후행적 또는 얅은 통합 방식이 아니라 깊은 통합을 목표로 한다.
• 분야 특화 지식을 활용하여 희귀하거나 모호한 개념을 해석함으로써 대규모이고 노이즈가 많은 데이터셋에 대한 모델 의존도를 줄이고자 한다.
• 정신 건강, 극단주의 탐지, 의료 진단과 같은 고위험 도메인에서 모델의 신뢰성 향상과 오진 경고 감소를 위해 노력하고자 한다.
• 신경 추론을 위한 기초로 지식을 삽입함으로써 모델의 설명 가능성과 추적 가능성을 향상시키고자 한다.

제안 방법

• 딥 뉴럴 네트워크의 훈련 중에 지식 그래프(KGs)에서 유래한 지식을 잠재 특징 공간에 통합하는 신경-기호 프레임워크를 제안한다.
• 지식 그래프의 의미 공간을 딥 네트워크가 학습한 표현 공간과 정렬하기 위해 라파노프 안정성 제약 조건을 갖춘 의미 매핑 함수를 사용한다.
• 비볼록 최적화 문제를 해결하기 위해 실바스터 최적화 방법을 활용하여 안정된 평형 상태로 수렴함을 보장한다.
• 지식 그래프의 구조와 네트워크의 잠재 특징 간의 격차를 최소화하는 목적 함수를 정의하며, 프로베니우스 노름과 비례 상수 α를 사용한다.
• 지식 그래프 임베딩을 딥 네트워크 표현으로 매핑하는 변환 행렬 W를 학습하기 위해 최적화를 적용함으로써 双방향 정렬을 가능하게 한다.
• 다양한 레이어에 지식을 통합하여 네트워크 전반에 걸쳐 표현의 동적 전파 및 정교화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떤 시점과 위치에서 지식을 딥 뉴럴 네트워크 레이어에 통합할 것인지, 그리고 통합할 지식의 양을 어떻게 정량화할 수 있는가?
• RQ2 딥 네트워크의 잠재 표현과 지식 그래프에서 유래한 외부 지식 표현을 효과적으로 융합하는 방법은 무엇인가?
• RQ3 학습된 잠재 표현을 통해 지식을 전파할 때 안정성과 학습 향상을 유지할 수 있는 방법은 무엇인가?
• RQ4 지식 그래프의 의미 공간과 딥 뉴럴 특징 간의 안정적이고 의미 있는 정렬을 보장하는 최적화 전략은 무엇인가?
• RQ5 딥 지식 통합이 저자료, 고불확실성 또는 고위험 도메인에서 모델 성능을 어떻게 향상시키는가?

주요 결과

• 지식 통합 학습은 정신 건강 질병 예측에서 오진 경고를 크게 감소시켜 30%의 오진 양성 감소를 달성했다.
• 온라인 극단주의 탐지에서 얕은 지식 통합은 정밀도를 향상시켜 편향이 있는 모델에 의한 사회적 차별 위험을 줄였다.
• 제한된 CT 스캔 데이터를 사용한 폐암 진단에서 지식 통합 CNN은 전문가가 정제한 지식을 특징 공간에 통합함으로써 민감도와 특이도를 모두 향상시켰다.
• K-IL 프레임워크는 노이즈에 대한 강건성을 향상시키고 특징 빈도에 대한 의존도를 감소시켜 정밀도를 유지하면서 재현율을 향상시켰다.
• 라파노프 안정성과 실바스터 최적화의 사용은 지식 그래프와 신경 표현 간의 안정적이고 미분 가능한 정렬을 가능하게 하여 엔드 투 엔드 훈련을 지원한다.
• 깊이 있는 지식 통합은 복잡하고 맥락에 민감한 도메인—예를 들어 소셜 미디어 분석 및 헬스케어—에서 더 나은 일반화, 감소된 편향, 향상된 설명 가능성을 이끌어냈다.