[논문 리뷰] Embedding Symbolic Knowledge into Deep Networks

Yaqi Xie, Ziwei Xu외 3명|arXiv (Cornell University)|2019. 09. 03.

Advanced Graph Neural Networks참고 문헌 34인용 수 4

한 줄 요약

이 논문은 의미 정규화와 노드 이질성 인식을 사용하여 기호적 논리 지식(특히 d-DNNF 및 CNF 형태)을 딥 네ural 네트워크에 통합하는 그래프 신경망 프레임워크인 LENSR을 제안한다. 증강된 GCN를 통해 논리 공식과 할당을 다양한 다양체에 투영함으로써, LENSR는 효율적인 함의 검증을 가능하게 하고 모델 성능을 향상시켜 시각적 관계 예측 및 모델 체킹 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we aim to leverage prior symbolic knowledge to improve the performance of deep models. We propose a graph embedding network that projects propositional formulae (and assignments) onto a manifold via an augmented Graph Convolutional Network (GCN). To generate semantically-faithful embeddings, we develop techniques to recognize node heterogeneity, and semantic regularization that incorporate structural constraints into the embedding. Experiments show that our approach improves the performance of models trained to perform entailment checking and visual relation prediction. Interestingly, we observe a connection between the tractability of the propositional theory representation and the ease of embedding. Future exploration of this connection may elucidate the relationship between knowledge compilation and vector representation learning.

연구 동기 및 목표

• 논리 공식 형태의 사전 기호 지식을 통합하여 딥 네ural 네트워크 성능을 향상시키기 위해.
• 라벨이 부족한 상황에서 기호 지식을 스케일러블하고 효과적으로 신경망에 통합하는 과제를 해결하기 위해.
• 논리 표현의 처리 가능성(예: d-DNNF 대 비해 CNF)이 벡터 표현 학습 가능성에 영향을 주는지 탐색하기 위해.
• 임베딩 과정에서 의미적 구조를 유지하여, 임베딩이 논리적 함의와 만족 가능성의 특성을 반영하도록 보장하기 위해.
• 기호 제약 조건을 사용해 딥 러닝 모델을 정규화할 수 있는 실용적이고 학습 가능한 프레임워크를 개발하기 위해.

제안 방법

• 논리 공식과 할당을 다양체 위의 벡터로 표현하기 위해 그래프 컬러레이션 네트워크(GCNs) 기반의 그래프 임베딩 네트워크를 제안한다.
• 논리 그래프 내 AND 및 OR 노드를 구분하기 위해 GCN에 노드 이질성 인식 기능을 도입하여 구조적 정밀도를 향상시킨다.
• AND 및 OR 노드의 자식 노드 임베딩에 대해 의미 정규화를 적용하여 논리적 의미를 유지한다.
• 결과로 생성된 임베딩을 사용해 딥 네ural 네트워크 학습 중 정규화를 위한 논리 인식 손실 함수를 구성한다.
• d-DNNF와 CNF를 서로 다른 처리 가능성과 크기 특성을 지닌 표적 지식 표현으로 선택한다.
• 다양한 논리 정규형의 학습 가능성 비교를 공식화하기 위해 '임베딩 수요성(Embeddable-Demanding)' 개념을 도입한다.

실험 결과

연구 질문

• RQ1 기본 논리 공식으로 표현된 기호적 논리 지식을 그래프 기반 방법을 통해 딥 네ural 네트워크에 효과적으로 임베딩할 수 있는가?
• RQ2 GCN 기반 임베딩에 의미 정규화와 노드 이질성 인식을 통합할 경우, 벡터 표현과 논리적 의미 간의 일치도가 향상되는가?
• RQ3 논리 정규형의 선택(d-DNNF 대비 CNF)이 임베딩 표현의 성능 및 학습 가능성에 어떤 영향을 미치는가?
• RQ4 논리 표현의 처리 가능성과 그에 대한 벡터 임베딩 학습의 적합성 사이에 측정 가능한 관계가 존재하는가?
• RQ5 논리 임베딩 표현은 시각적 관계 예측 및 함의 검증과 같은 후행 딥 러닝 작업에서 성능 향상에 기여하는가?

주요 결과

• d-DNNF와 의미 정규화를 사용한 LENSR는 시각적 관계 예측 작업에서 92.77%의 상위 5개 정확도를 기록하여 기준 모델(84.30%)과 다른 기준 모델인 treeLSTM(85.76%)을 크게 앞서며 최고 성능을 달성했다.
• 노드 이질성 임베딩과 의미 정규화를 모두 적용한 d-DNNF 기반 모델은 92.77%의 상위 5개 정확도를 기록하여, 구조적 및 의미적 제약 조건의 효과를 입증했다.
• CNF와 의미 정규화를 사용한 LENSR는 85.70%의 상위 5개 정확도를 기록하여 기준 모델 대비 향상되었지만 d-DNNF 대비는 성능이 떨어졌다.
• 의미 손실만을 사용해 d-DNNF를 직접 적용한 경우 성능 향상이 미미했으며(84.76%), 이는 임베딩 기반 정규화가 원시 논리 손실보다 더 효과적임을 시사한다.
• 최신 기술 수준의 TreeLSTM 기반 임베더보다도 성능이 뛰어나, GCN 기반의 구조 인식 임베딩이 RNN 기반 접근보다 유리함을 입증했다.
• 실험 결과는 논리 형태의 처리 가능성과 임베딩 가능성 사이에 강력한 상관관계가 있음을 시사하며, d-DNNF가 CNF보다 더 효과적인 벡터 표현 학습에 적합함을 보여준다.