[논문 리뷰] Learn to Explain Efficiently via Neural Logic Inductive Learning

Yuan Yang, Le Song|arXiv (Cornell University)|2019. 10. 06.

Topic Modeling참고 문헌 34인용 수 10

한 줄 요약

이 논문은 모델 해석을 위한 장기적이고 해석 가능한 일阶 논리 규칙을 효율적으로 학습할 수 있는 미분 가능 인덕티브 논리 프로그래밍 프레임워크인 신경 논리 유도 학습(NLIL)을 제안한다. 규칙 탐색 공간을 계층적으로 분해하고 어텐션 메커니즘을 활용함으로써 NLIL는 기존 최고 수준의 방법들보다 10배 긴 규칙 탐색과 3배 빠른 학습을 달성하면서도, 100만 개의 개체를 포함하는 대규모 데이터셋인 Visual Genome와도 잘 맞추며, 최소한의 데이터로도 뛰어난 예측 성능 유지를 유지한다.

ABSTRACT

The capability of making interpretable and self-explanatory decisions is essential for developing responsible machine learning systems. In this work, we study the learning to explain problem in the scope of inductive logic programming (ILP). We propose Neural Logic Inductive Learning (NLIL), an efficient differentiable ILP framework that learns first-order logic rules that can explain the patterns in the data. In experiments, compared with the state-of-the-art methods, we find NLIL can search for rules that are x10 times longer while remaining x3 times faster. We also show that NLIL can scale to large image datasets, i.e. Visual Genome, with 1M entities.

연구 동기 및 목표

• 기존 인덕티브 논리 프로그래밍(ILP) 방법에서의 해석 가능성 부족과 확장성 문제를 해결하기 위해.
• 관계 데이터로부터 글로벌 일관성 있고 인간이 이해할 수 있는 일阶 논리 규칙을 학습할 수 있는, 유연하고 확장 가능한 ILP 프레임워크를 개발하기 위해.
• 특히 시각 및 지식 기반 작업에서의 지도 학습 모델에 대한 규칙 기반 해석을 위한 효율적 규칙 학습을 가능하게 하기 위해.
• 수백만 개의 개체를 포함하는 대규모 데이터셋에 대해 규칙의 표현력과 예측 성능를 유지하면서 ILP의 확장성을 높이기 위해.

제안 방법

• NLIL는 규칙 탐색 공간을 세 가지 하위 공간으로 계층적으로 분해하는 히에라르키컬한 분할-정복 전략을 도입한다: 규칙 구조, 변수 바인딩, 규칙 인스턴스화.
• 어텐션 메커니즘을 활용해 계층적 탐색 공간을 효율적으로 탐색함으로써 장기 규칙 탐색의 확장 가능성을 높인다.
• 규칙 생성과 규칙 평가를 분리하여, 규칙 생성 과정이 예측자 유형에만 의존하도록 하여 지식 기반 전반에 걸친 글로벌 일관성을 보장한다.
• Transformer 기반 아키텍처를 사용하며, 각 타겟 예측자에 대해 경량 모델을 별도로 적용함으로써 효율성과 확장성을 향상시킨다.
• 이미지 데이터셋의 색상 그래프를 관계 지식 기반 시스템으로 활용하여 규칙 유도를 위한 KB로 변환한다.
• 논리 연산의 미분 가능 리라크스레이션을 통해 엔드 투 엔드로 학습함으로써 기울기 기반 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 미분 가능한 ILP 프레임워크는 수백만 개의 개체를 포함하는 대규모 관계 데이터셋에 대해 규칙의 표현력을 유지하면서도 확장 가능한가?
• RQ2 기존 방법들보다 더 길고 복잡한 일阶 논리 규칙을 학습하면서도 계산적으로 효율적인가?
• RQ3 유도된 상징적 규칙들은 밀도 높은 신경망 모델과 비교해 유사한 예측 성능를 보일 수 있는가, 특히 훈련 데이터가 제한된 경우에도?
• RQ4 NLIL가 생성한 규칙들은 표면적인 상관관계를 넘어서 관계 데이터 내에서 의미 있고 일반화 가능한 패턴을 포착할 수 있는가?

주요 결과

• NLIL는 NeuralLP와 같은 최고 수준의 방법들보다 10배 긴 규칙 탐색 능력과 3배 빠른 학습 속도를 달성한다.
• 100만 개의 개체를 포함하는 Visual Genome 데이터셋에서 NLIL는 R@1이 0.51, R@5가 0.52를 기록하며 빈도 기반 기준선(R@1: 0.40)을 초월하고, 지도 학습 기반의 MLP-RCNN 기준선(R@1: 0.53)에 근접하는 성능를 보였다.
• 훈련 데이터의 1퍼센트 미만으로도 NLIL는 안정적인 R@1 점수를 유지하여 강력한 데이터 효율성과 일반화 능력을 입증했다.
• 유도된 규칙들은 비트리비얼한, 일반 지식에 가까운 패턴(예: 'X가 자동차 안에 있고 옷을 입고 있다면 X는 사람이다')을 포착하고 있어 표면적인 상관관계를 넘어서는 것으로 나타났다.
• NLIL는 규칙 길이에 따라 효율적으로 확장된다: NLIL에서 규칙 길이 32의 학습 시간은 NeuralLP의 규칙 길이 3과 유사한데, 이는 탐색 공간의 로그 스케일 성장 덕분이다.
• FB15K에서 RotatE에 비해 성능이 열등하나, TransE와 유사한 성능를 보이며, 상징적 규칙는 여전히 해석 가능하고 글로벌 일관성을 유지한다.