[논문 리뷰] Deep Adaptive Semantic Logic (DASL): Compiling Declarative Knowledge into Deep Neural Networks

Karan Sikka, Andrew Silberfarb외 5명|arXiv (Cornell University)|2020. 03. 16.

Topic Modeling참고 문헌 45인용 수 6

한 줄 요약

이 논문은 기호적 지식 표현의 취약성과 딥 러닝의 데이터 의존성 문제를 통합하는 프레임워크인 딥 어댑티브 세미틱 로직(DASL)을 소개한다. DASL은 기울기 소실 문제를 방지하기 위해 로짓 기반 진리 표현 방식을 사용하여 일阶 논리 지식을 미분 가능한 딥 신경망으로 컴파일한다. 데이터와 선언적 지식을 하나의 엔드 투 엔드 학습 가능한 모델로 통합함으로써, DASL은 장난감 MNIST 작업에서 데이터 요구량을 최대 1,000배 감소시키고, 저데이터 환경에서 시각적 관계 탐지 성능을 10.7% 향상시킨다.

ABSTRACT

We introduce Deep Adaptive Semantic Logic (DASL), a novel framework for automating the generation of deep neural networks that incorporates user-provided formal knowledge to improve learning from data. We provide formal semantics that demonstrate that our knowledge representation captures all of first order logic and that finite sampling from infinite domains converges to correct truth values. DASL's representation improves on prior neural-symbolic work by avoiding vanishing gradients, allowing deeper logical structure, and enabling richer interactions between the knowledge and learning components. We illustrate DASL through a toy problem in which we add structure to an image classification problem and demonstrate that knowledge of that structure reduces data requirements by a factor of $1000$. We then evaluate DASL on a visual relationship detection task and demonstrate that the addition of commonsense knowledge improves performance by $10.7\%$ in a data scarce setting.

연구 동기 및 목표

• 기호적 지식 표현의 취약성과 딥 러닝의 데이터 의존성 문제를 하나의 프레임워크로 통합하여 해결한다.
• 딥 신경망이 일阶 논리로 표현된 공식적이고 사용자 제공의 선언적 지식을 통합할 수 있도록 한다.
• 퍼지 논리 대신 로짓 기반 진리 표현 방식을 사용하여 신경-기호 시스템에서 기울기 소실 문제를 해결한다.
• DASL이 중첩된 기댓값, 함수, 등식을 포함한 전체 일阶 논리에 대해 형식적으로 타당성과 완전성을 보장함을 입증한다.
• 시각 작업에서 구조화된 지식 통합을 통해 저데이터 환경에서 데이터 요구량을 줄이고 일반화 성능을 향상시킨다.

제안 방법

• 임의의 아키텍처를 가진 재사용 가능하고 학습 가능한 신경망으로 도메인 관계와 함수를 표현한다.
• 논리 연결자로 신경 컴포넌트를 조합하여 일阶 논리 진술을 하나의 깊은 신경망으로 컴파일한다.
• 백프로파게이션 중 기울기 흐름을 유지하기 위해 실수값이고 유계가 아닌 로짓 기반 진리 표현 방식을 사용하여 기울기 소실 문제를 방지한다.
• 레이블을 논리적 진술로 간주하여 지도학습, 준지도학습, 비지도학습, 먼지학습을 하나의 학습 제도로 통합한다.
• 무한 도메인에 대해 미니배치 샘플링을 적용하여, 한계에서 정확한 진리값으로 수렴함을 증명한다.
• 구문적 확장으로 제한된 기댓값과 하이브리드 네트워크 아키텍처를 지원하면서도 일阶 논리 제약을 위반하지 않는다.

실험 결과

연구 질문

• RQ1 일阶 논리로 표현된 선언적 지식에서 자동으로 딥 신경망을 컴파일할 수 있으며, 이 과정에서 미분 가능성은 유지되는가?
• RQ2 신경-기호 시스템에서 로짓 기반 진리 표현 방식이 기울기 소실 문제를 방지하고 더 깊은 논리적 구조를 가능하게 하는가?
• RQ3 DASL이 기댓값과 등식을 포함한 전체 일阶 논리에 대해 타당성과 완전성을 달성할 수 있는가?
• RQ4 공감 지식 통합이 제한된 레이블 데이터를 가진 시각 작업에서 데이터 요구량을 얼마나 줄일 수 있는가?
• RQ5 기본 딥 러닝 베이스라인 대비 DASL이 제로샷 및 저데이터 설정에서 모델 일반화 및 성능을 얼마나 향상시키는가?

주요 결과

• DASL은 수치 제약 조건을 선언적 지식으로 통합함으로써 수정된 MNIST 숫자 분류 작업에서 데이터 요구량을 1,000배 감소시켰다.
• 시각적 관계 탐지(VRD) 데이터셋에서 DASL은 훈련 데이터의 1%만 사용할 경우 재현율을 59.4%에서 70.1%로 10.7% 향상시켰다. 이는 데이터가 부족한 환경에서 뚜렷한 성능 향상을 보여준다.
• 성능 향상은 저데이터 환경(예: 1% 데이터)과 제로샷 설정에서 더욱 두드러지며, 이는 지식이 강력한 정규화 역할을 함을 시사한다.
• 지식을 통합한 VGG-SS 모델은 R@100에서 78.5%의 재현율을 기록했으며, 베이스라인 대비 1.4%p의 절대적 향상이 있었고, 통계적으로 유의미했다(p < 0.01).
• DASL의 형식적 의미론은 중첩된 기댓값과 등식을 포함한 전체 일阶 논리에 대해 타당성과 완전성을 보장하며, 유한 샘플링 하에서 수렴 보장이 있다.
• 로짓 기반 진리 표현 방식은 복잡한 논리적 구조를 거쳐도 안정적인 백프로파게이션을 가능하게 하여 이전의 퍼지 논리 기반 접근 방식의 한계를 극복한다.