[논문 리뷰] Incorporating Domain Knowledge into Deep Neural Networks

Tirtharaj Dash, Sharad Chitlangia외 2명|arXiv (Cornell University)|2021. 02. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 42인용 수 8

한 줄 요약

이 논문은 논리적 및 수치적 제약 조건을 통해 도메인 지식을 딥 네ural 네트워크(DNN)에 통합하는 방법을 조사하여 모델 성능, 해석 가능성 및 공정성 향상에 기여한다. 그래프 신경망을 통해 70개의 데이터셋에서 수행된 실험을 통해 도메인 지식을 논리 규칙이나 손실 함수 내 정규화 기법으로 표현함으로써 예측 정확도가 크게 향상됨을 입증한다.

ABSTRACT

We present a survey of ways in which domain-knowledge has been included when constructing models with neural networks. The inclusion of domain-knowledge is of special interest not just to constructing scientific assistants, but also, many other areas that involve understanding data using human-machine collaboration. In many such instances, machine-based model construction may benefit significantly from being provided with human-knowledge of the domain encoded in a sufficiently precise form. This paper examines two broad approaches to encode such knowledge--as logical and numerical constraints--and describes techniques and results obtained in several sub-categories under each of these approaches.

연구 동기 및 목표

• 정밀하고 실행 가능한 형태로 도메인 지식을 체계적으로 통합하여 딥 네ural 네트워크 성능을 향상시키는 데 도전하는 것.
• 모델 구축 과정에서 논리적 및 수치적 제약 조건을 어떻게 표현하고 통합할 수 있는지 탐색하는 것.
• 인간-중심 AI 시스템에서 모델의 해석 가능성, 공정성 및 신뢰성 향상에 도메인 지식이 어떻게 기여하는지 검토하는 것.
• 기호적 도메인 지식을 미분 가능하고 학습 가능한 신경망 구성 요소로 변환하는 데 있어 이론적 및 실용적 과제를 규명하는 것.
• 해석 가능성 및 편향 완화를 지원하는 책임감 있는 AI를 위한 핵심 기반으로 도메인 지식 통합을 위치짓는 것.

제안 방법

• 기본 정규형 및 n-항 관계를 포함한 명제 논리 및 술어 논리 제약 조건으로 도메인 지식 표현.
• 기울기 기반 학습을 가능하게 하기 위해 미분 가능한 완화 기법 또는 신경-기호 통합을 통해 논리 제약 조건 인코딩.
• 수정된 손실 함수를 통한 수치적 제약 조건 제작, 정규화 항 및 가중치 사전 분포 포함.
• 사전 분포 또는 전이 학습을 통해 네트워크 가중치에 제약 조건 적용하여 도메인 특화의 기대값 통합.
• 논리 규칙에서 파생된 도메인 특화 특징을 통합한 그래프 신경망의 정점 강화 기법 사용.
• 특히 그래프 신경망에서 벤치마크 데이터셋을 대상으로 한 추론 성능 비교 및 분석 실험을 통한 제약 조건 통합 평가.

실험 결과

연구 질문

• RQ1 기울기 기반 학습을 유지하기 위해 논리 규칙 형태의 도메인 지식을 어떻게 효과적으로 인코딩하고 통합할 수 있는가?
• RQ2 정규화나 가중치 사전 분포와 같은 수치적 제약 조건을 DNN 학습 과정 내에서 가장 효과적으로 표현하고 강제로 적용하는 방법은 무엇인가?
• RQ3 실제 과학적 및 공학적 애플리케이션에서 도메인 지식 통합이 예측 성능 향상에 어느 정도 기여하는가?
• RQ4 도메인 지식은 인간-중심 시스템에서 딥 네ural 네트워크의 해석 가능성과 신뢰성 향상에 어떻게 기여할 수 있는가?
• RQ5 기호적 도메인 지식을 학습 가능한 신경망 구성 요소로 변환하는 데 있어 핵심적인 기술적 및 실용적 과제는 무엇인가?

주요 결과

• 그래프 신경망에서 정점 강화 기법을 통한 도메인 지식 통합이 70개의 다양한 데이터셋에서 예측 정확도 향상에 유의미한 기여를 하였다.
• 적절하게 인코딩된 논리 제약 조건은 모델 일반화 능력을 향상시키고 데이터 내 유사한 상관관계에 대한 의존도를 감소시킨다.
• 정규화 항과 가중치 사전 분포와 같은 수치적 제약 조건은 저자료 환경에서 모델의 강건성과 수렴 성능을 크게 향상시킨다.
• 도메인 지식 통합은 내부 표현을 도메인 특화 개념과 일치시킴으로써 모델의 해석 가능성 향상에 기여한다.
• 진전이 있었음에도 불구하고, 논리 제약 조건을 구분하고 기울기 기반 학습에서 종단 간 완전한 미분 가능성 확보에 도전 과제가 남아 있다.
• 도메인 지식 통합은 해석 가능성, 인과관계, 윤리적 일치를 지원하는 책임감 있는 AI를 위한 핵심 기반임을 확인하였다.