[논문 리뷰] Unsupervised Neural-Symbolic Integration

Son N. Tran|arXiv (Cornell University)|2017. 06. 06.

Bayesian Modeling and Causal Inference참고 문헌 1인용 수 5

한 줄 요약

이 논문은 신뢰도 규칙을 사용하여 제한된 볼츠만 기계(RBMs)에 명제 및 일阶 논리 규칙을 인코딩하는 비지도 학습 신경-기호 통합 프레임워크를 제안한다. 이는 감독 레이블 없이도 효율적이고 해석 가능한 추론을 가능하게 한다. 방법은 에너지 기반 추론과 오토에코더 기반 재구성 기법을 활용하여 친족 관계 추론에서 100% 정확도를 달성하고, 효과적인 DNA 프로모터 예측을 수행한다.

ABSTRACT

Symbolic has been long considered as a language of human intelligence while neural networks have advantages of robust computation and dealing with noisy data. The integration of neural-symbolic can offer better learning and reasoning while providing a means for interpretability through the representation of symbolic knowledge. Although previous works focus intensively on supervised feedforward neural networks, little has been done for the unsupervised counterparts. In this paper we show how to integrate symbolic knowledge into unsupervised neural networks. We exemplify our approach with knowledge in different forms, including propositional logic for DNA promoter prediction and first-order logic for understanding family relationship.

연구 동기 및 목표

• 신호 기반 AI와 비지도 신경망을 연결하기 위해 기호 지식을 비지도 학습 프레임워크에 통합할 수 있도록 하는 것.
• 감독 학습 기반 신경-기호 시스템이 출력 클래스에만 국한된 추론을 허용하는 한계를 해결하기 위해, 비지도 모델에서 전체적이고 대칭적인 추론을 가능하게 하는 것.
• 신뢰도 규칙를 사용하여 명제 및 일阶 논리 규칙을 RBMs에 일반적이고 손실이 없는 방식으로 인코딩함으로써 히우리스틱 또는 계층적 근사치를 피하는 것.
• 이 프레임워크의 실용적 유용성을 두 영역인 DNA 프로모터 예측과 친족 관계 추론에서 입증하는 것.
• 공유 매개변수를 통해 관계 간에 적용되는 비지도 학습 기반 RBMs가 레이블이 없는 추론 환경에서도 높은 정확도를 달성할 수 있음을 보여주는 것.

제안 방법

• 기호 지식을 신뢰도 규칙—신뢰도 값이 부여된 명제 공식—로 표현하여 RBM 에너지 함수로 직접 매핑할 수 있도록 한다.
• RBM 에너지 최소화와 신뢰도 규칙의 가중치가 부여된 만족도 최대화 사이의 등가성을 이용하여 신경망 내에서 기호 추론이 유지됨을 보장한다.
• 만약-그러면(Horn 절) 규칙을 분리 정규형(DNF) 변환을 통해 신뢰도 규칙으로 변환함으로써, 규칙 분리 없이도 효율적인 인코딩이 가능해진다.
• 제한된 볼츠만 기계(RBMs)를 기반 신경 아키텍처로 사용하며, 추론에는 기브스 샘플링, 추론에는 에너지 최소화를 활용한다.
• 기호 입력을 인코딩한 후 관계 특징을 재구성하기 위해 RBM 위에 오토에코더를 적용함으로써 관계 구조의 비지도 학습이 가능해진다.
• 두 부분으로 구성된 모델을 사용한다: 기호 규칙은 왼쪽 RBM에 인코딩되고, 알려지지 않은 관계는 오른쪽 오토에코더 구성 요소에서 재구성에 의해 추론된다.

실험 결과

연구 질문

• RQ1 명제 및 일阶 논리 형태의 기호 지식을 비지도 신경망에 손실 없이 인코딩할 수 있는가?
• RQ2 신뢰도 규칙는 에너지 기반 신경망인 RBM에서 기호 규칙을 어떻게 표현하고 추론하는 데 사용될 수 있는가?
• RQ3 제안된 방법은 감독 학습 기반 네트워크와 달리 비지도 환경에서도 전체적이고 대칭적인 추론(예: 두 변수로부터 어떤 변수도 추론 가능)을 지원할 수 있는가?
• RQ4 이 프레임워크는 DNA 프로모터 예측 및 친족 관계 추론과 같은 실제 추론 작업에서 얼마나 효과적인가?
• RQ5 관계 간에 공유 매개변수를 사용하는 비지도 학습이 관계 추론에서 분류 기반의 행렬 기반 접근법보다 우월한가?

주요 결과

• 나머지 한 사람을 제외한 유효성 검증을 통해 미리보지 않은 친족 관계 추론에서 100% 정확도를 달성하여 테스트 세트에서 완벽한 일반화 능력을 입증한다.
• 10개, 20개, 30개의 예제로 테스트한 결과, 모델은 정확한 관계 식별에서 평균 오차가 0%를 기록했으며, 더 큰 테스트 세트에서는 행렬 기반 방법보다 우수한 성능(0.4%, 1.2%, 2.0% 오차)을 보였다.
• 프레임워크는 히우리스틱 근사치 없이도 명제 논리(예: DNA 프로모터 규칙)와 일阶 논리(예: 가족 관계)를 모두 RBMs에 성공적으로 인코딩하였다.
• 신뢰도 규칙의 사용은 에너지 최소화를 통한 효율적 추론을 가능하게 하여 신경망 내에서 기호 추론 의미를 유지한다.
• 관계 특징에 대한 오토에코더 기반 재구성은 목표가 명시적으로 레이블링되지 않은 경우에도 누락된 관계를 추론할 수 있도록 한다.
• 비지도 RBMs에 기호 제약 조건을 적용한 접근법이 고정밀도로 복잡한 관계 추론을 수행할 수 있음을 입증하였으며, 일부 환경에서는 분류 기반 모델을 능가하거나 그에 준하는 성능을 보였다.