[논문 리뷰] Learning and T-Norms Theory

Francesco Giannini, Giuseppe Marra외 3명|arXiv (Cornell University)|2019. 07. 26.

Neural Networks and Applications참고 문헌 27인용 수 4

한 줄 요약

이 논문은 t-노름 생성자들을 사용하여 신경-기호적 손실 함수를 명확하게 유도하는 이론적 프레임워크를 제안하며, 지도 학습에서 교차 엔트로피 손실에 대한 원리적인 정당성을 제공하고, 데이터 의존도가 낮아진 딥러닝 모델에서 수렴 속도를 향상시키는 새로운 종류의 미분 가능 손실 함수를 가능하게 한다.

ABSTRACT

Deep learning has been shown to achieve impressive results in several domains like computer vision and natural language processing. Deep architectures are typically trained following a supervised scheme and, therefore, they rely on the availability of a large amount of labeled training data to effectively learn their parameters. Neuro-symbolic approaches have recently gained popularity to inject prior knowledge into a deep learner without requiring it to induce this knowledge from data. These approaches can potentially learn competitive solutions with a significant reduction of the amount of supervised data. A large class of neuro-symbolic approaches is based on First-Order Logic to represent prior knowledge, that is relaxed to a differentiable form using fuzzy logic. This paper shows that the loss function expressing these neuro-symbolic learning tasks can be unambiguously determined given the selection of a t-norm generator. When restricted to simple supervised learning, the presented theoretical apparatus provides a clean justification to the popular cross-entropy loss, that has been shown to provide faster convergence and to reduce the vanishing gradient problem in very deep structures. One advantage of the proposed learning formulation is that it can be extended to all the knowledge that can be represented by a neuro-symbolic method, and it allows the development of a novel class of loss functions, that the experimental results show to lead to faster convergence rates than other approaches previously proposed in the literature.

연구 동기 및 목표

• 신경-기호 딥러닝에서 손실 함수를 유도하는 원칙적이고 모호하지 않은 방법을 확립하기 위해 t-노름 생성자에 기반한 기반을 마련하는 것.
• 딥러닝의 데이터 효율성 문제를 해결하기 위해 퍼지 논리의 완화를 통해 상징 지식을 통합함으로써 도전에 대응하는 것.
• 지도 학습에서 교차 엔트로피 손실의 광범위한 사용에 대한 이론적 기반을 제공하는 것.
• 일阶논리로 표현 가능한 다양한 형태의 사전 지식을 통합할 수 있도록 손실 함수의 공식화를 표준 지도 학습을 초월해 확장하는 것.

제안 방법

• 논문은 퍼지 논리, 특히 t-노름 생성자를 통해 일阶논리 지식을 미분 가능한 형태로 매핑하는 형식적 프레임워크를 도입한다.
• 선택된 t-노름 생성자에 따라 신경-기호 학습 작업을 위한 손실 함수가 직접적으로 도출되며, 이는 일관성과 모호함이 없는 것을 보장한다.
• 이 프레임워크는 신경-기호 방법으로 표현 가능한 모든 지식에 일반화되어 다양한 지식 유형 간의 통합된 손실 공식화를 가능하게 한다.
• 특정 t-노름 선택 조건 하에서 표준 지도 학습에 국한된 경우, 유도된 손실 함수가 교차 엔트로피 손실로 축소됨을 보여준다.
• 다른 t-노름 생성자를 선택하여 새로운 손실 함수를 체계적으로 설계할 수 있으며, 이는 더 빠른 수렴을 위한 최적화를 가능하게 한다.
• 데이터 기반 유도 없이도 상징 지식을 딥러닝에 통합함으로써 해석 가능성은 유지하면서 데이터 요구량을 감소시킨다.

실험 결과

연구 질문

• RQ1 퍼지 논리와 t-노름을 활용하여 상징 지식에서 신경-기호 학습 손실 함수를 어떻게 체계적으로 도출할 수 있는가?
• RQ2 딥러닝에서 교차 엔트로피 손실의 효과성에 대한 이론적 정당성은 무엇이며, t-노름 프레임워크에서 어떻게 유도되는가?
• RQ3 지도 학습과 상징 사전 지식이 통합된 학습에 모두 적용 가능한 통합된 손실 함수 공식화를 수립할 수 있는가?
• RQ4 다른 t-노름 생성자를 기반으로 유도된 손실 함수는 수렴 속도와 모델 성능 측면에서 어떻게 비교되는가?
• RQ5 이 프레임워크는 딥러닝에서 대규모 레이블 데이터셋에 대한 의존도를 어느 정도 감소시킬 수 있는가?

주요 결과

• 신경-기호 학습 작업을 위한 손실 함수는 t-노름 생성자의 선택에 의해 유일하게 결정되며, 이는 이론적 일관성과 모호함이 없는 것을 보장한다.
• 프레임워크는 제품 t-노름을 사용할 경우 교차 엔트로피 손실이 특수한 경우로 나타남을 보여주며, 이는 딥러닝에서의 그 실용적 성공을 설명한다.
• 실험 결과에 따르면 제안된 손실 함수는 기존 문헌의 접근 방식보다 더 빠른 수렴 속도를 보인다.
• 이 방법은 상징 지식을 딥러닝 모델에 효과적으로 통합할 수 있으며, 대규모 레이블 데이터에 대한 의존도를 감소시킨다.
• 이론적 기반은 신경-기호 방법으로 표현 가능한 모든 지식으로 확장 가능하며, 통합된 최적화 프레임워크를 가능하게 한다.
• 미분 가능한 퍼지 논리의 사용은 논리적 제약 조건과 사전 지식을 유지하면서 딥 네트워크의 엔드 투 엔드 학습을 가능하게 한다.