[논문 리뷰] Neural Logic Reasoning

Shaoyun Shi, Hanxiong Chen외 4명|arXiv (Cornell University)|2020. 08. 20.

Advanced Graph Neural Networks참고 문헌 32인용 수 4

한 줄 요약

이 논문은 논리 연산(AND, OR, NOT)을 미분 가능한 모듈로 학습하는 동적 신경망 아키텍처인 로직 통합 신경망(LINN)을 제안한다. 입력 논리 식에 기반한 계산 그래프를 구성하고 논리 변수를 벡터 표현으로 사용함으로써, LINN는 이론적 논리 방정식 해결 및 Top-K 추천 작업에서 최신 기술 수준(SOTA) 성능을 달성하며 신경망의 일반화 능력과 기호적 추론의 융합을 강력하게 보여준다.

ABSTRACT

Recent years have witnessed the success of deep neural networks in many research areas. The fundamental idea behind the design of most neural networks is to learn similarity patterns from data for prediction and inference, which lacks the ability of cognitive reasoning. However, the concrete ability of reasoning is critical to many theoretical and practical problems. On the other hand, traditional symbolic reasoning methods do well in making logical inference, but they are mostly hard rule-based reasoning, which limits their generalization ability to different tasks since difference tasks may require different rules. Both reasoning and generalization ability are important for prediction tasks such as recommender systems, where reasoning provides strong connection between user history and target items for accurate prediction, and generalization helps the model to draw a robust user portrait over noisy inputs. In this paper, we propose Logic-Integrated Neural Network (LINN) to integrate the power of deep learning and logic reasoning. LINN is a dynamic neural architecture that builds the computational graph according to input logical expressions. It learns basic logical operations such as AND, OR, NOT as neural modules, and conducts propositional logical reasoning through the network for inference. Experiments on theoretical task show that LINN achieves significant performance on solving logical equations and variables. Furthermore, we test our approach on the practical task of recommendation by formulating the task into a logical inference problem. Experiments show that LINN significantly outperforms state-of-the-art recommendation models in Top-K recommendation, which verifies the potential of LINN in practice.

연구 동기 및 목표

• 깊은 신경망이 강력한 일반화 능력에도 불구하고 논리 추론 능력에 한계를 가진다는 점을 해결하기 위해.
• 기존 기호적 추론이 하드코딩된 규칙에 의존하고 다양한 작업 간 일반화 능력이 떨어지는 데서 비롯되는 유연성 부족 문제를 해결하기 위해.
• 딥 러닝의 표현 능력과 기호 시스템의 논리적 추론 능력을 통합하여 실용적 응용 분야에서 향상된 추론 성능을 달성하기 위해.
• 논리 제약 조건을 사용하여 추천 시스템에서 사용자-아이템 상호작용을 추론할 수 있도록 하기 위해.
• 논리 통합 신경망이 이론적 논리 문제와 실제 추천 작업 양쪽에서 뛰어난 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• LINN는 논리 변수를 조밀한 벡터로 표현하고 기본 논리 연산(AND, OR, NOT)을 학습 가능한 신경 모듈로 모델링한다.
• 네트워크는 입력 논리 식에 기반해 동적으로 계산 그래프를 구성함으로써 논리 공식의 구조적 정보를 유지한다.
• 논리 규칙의 의미를 유지하기 위해 연산의 결합법칙, 등幂성 등과 같은 성질을 만족시키기 위해 논리 정규화를 적용한다.
• 정확한 추론 메커니즘을 사용하여 논리 식의 진리값을 확률로 계산함으로써 엔드 투 엔드 학습이 가능하다.
• 추천 작업에서는 사용자 선호도를 논리 식(예: 'A를 좋아하지만 B는 좋아하지 않음 → C를 좋아함')으로 표현하고, 논리 인식 손실 함수를 사용해 상호작용 시퀀스에서 학습한다.
• 음성 상호작용은 단순한 임베딩 부정화가 아니라 논리 식을 통해 모델링함으로써 벡터 대칭성에 대한 강한 가정을 피한다.

실험 결과

연구 질문

• RQ1 일반화 능력을 유지하면서도 동적이고 구조 인식 가능한 논리 추론을 수행할 수 있는 신경망 아키텍처를 설계할 수 있는가?
• RQ2 표준 딥 러닝 모델과 비교해 신경 모델이 문장 논리 방정식을 얼마나 잘 해결할 수 있는가?
• RQ3 희박하고 노이즈가 많은 사용자 상호작용이 있는 실세계 추천 작업에서 논리 통합 추론이 성능 향상에 기여하는가?
• RQ4 음성 상호작용을 논리 식을 통해 모델링하는 것이 기존 임베딩 기반 음성 표현 방법보다 성능이 뛰어나지 않는가?
• RQ5 카테고리나 콘텐츠와 같은 보조 정보 없이 LINN가 의미 있는 아이템 동시출현 패턴을 발견할 수 있는가?

주요 결과

• LINN는 이론적 논리 추론 작업, 예를 들어 논리 방정식 해결 및 변수 추론에서 표준 신경망보다 뚜렷이 뛰어난 성능을 보이며 강력한 논리 추론 능력을 입증한다.
• ML-100k 및 Electronics 추천 데이터셋에서, GRU4Rec 및 NARM와 같은 최신 기술 수준 모델보다 높은 Hit@1 및 Top-K 성능을 달성한다.
• ML-100k에서 LINN는 Hit@1 점수 0.58을 기록하며, 명시적 음성 상호작용 모델링 없이도 GRU4Rec 및 NARM를 능가한다.
• 아이템 동시출현 확률의 히트맵을 통해 LINN는 아키텍처에서 대칭성을 강제하지 않더라도 대칭적인 논리 관계(예: v_i ∧ v_j ≈ v_j ∧ v_i)를 학습하고 있음을 확인할 수 있다.
• LINN는 인기 있는 음악(번호 602)과 인기 없는 드라마(번호 1144) 사이의 비명백한 동시출현 패턴을 발견했으며, 이는 낮은 인기도에도 불구하고 같은 사용자가 둘 다 좋아하는 경우였다.
• 음성 상호작용을 논리 식으로 모델링하는 것이 음성 임베딩이나 제약 없는 네트워크를 사용하는 것보다 성능이 뛰어나며, 후자는 양성 및 음성 표현 간 의미 관계를 약화시키기 때문이다.