[논문 리뷰] A Semantic Loss Function for Deep Learning with Symbolic Knowledge

Jingyi Xu, Zilu Zhang외 3명|arXiv (Cornell University)|2017. 11. 29.

Topic Modeling참고 문헌 48인용 수 70

한 줄 요약

논문은 신경망 출력과 불리언 제약을 연결하는 의미론적 손실을 도출하여 기호 지식을 활용한 미분가능하고 타당한 추론을 가능하게 하고, 준지도 학습 및 구조화된 출력 학습을 향상시킵니다.

ABSTRACT

This paper develops a novel methodology for using symbolic knowledge in deep learning. From first principles, we derive a semantic loss function that bridges between neural output vectors and logical constraints. This loss function captures how close the neural network is to satisfying the constraints on its output. An experimental evaluation shows that it effectively guides the learner to achieve (near-)state-of-the-art results on semi-supervised multi-class classification. Moreover, it significantly increases the ability of the neural network to predict structured objects, such as rankings and paths. These discrete concepts are tremendously difficult to learn, and benefit from a tight integration of deep learning and symbolic reasoning methods.

연구 동기 및 목표

• 신경망 출력이 논리 제약을 얼마나 잘 만족하는지 측정하는 체계적 의미론적 손실을 도입한다.
• 일차 원리에서 도출된 미분가능한 손실을 사용해 신경 예측과 기호 지식을 연결한다.
• MNIST, FASHION, CIFAR-10에서 준지도 다중 클래스 분류의 향상을 입증한다.
• 랭킹과 경로와 같은 구조화된 객체 학습의 이점을 보여준다.
• 복잡한 제약에 대한 의미론적 손실의 계산 가능(tractable) 전략을 제공한다.

제안 방법

• 변수 X에 대한 불리언 논리 제약 α와 예측 확률 p로부터 의미론적 손실 Ls(α, p)를 정의한다.
• 단조성, 동일성, 만족도, 라벨-리터럴 대응, 미분가능성의 공리 집합하에서 Ls의 유일성을 증명한다.
• 간단한 제약(예: 정확히 하나)에 대해서는 Ls가 닫힌 형식으로 축소되고, 복잡한 제약에 대해서는 회로 기반 가중 모델 계산을 사용한다.
• 표준 손실에 existing_loss + w * Ls로 의미론적 손실을 통합하여 준지도 학습을 가능하게 한다.
• 불리언 회로 컴파일과 산술 회로를 통한 계산 가능한 그래디언트 평가를 시연한다.
• 복잡한 출력 공간(경로, 랭킹)에 적용하여 유효한 구조를 인코딩하고 학습 성과를 향상시킨다.

실험 결과

연구 질문

• RQ1 신경망 출력의 의미를 보존하는 논리 제약의 의미를 가지는 미분가능한 손실을 정의할 수 있는가?
• RQ2 의미론적 손실을 도입하면 MNIST, FASHION, CIFAR-10와 같은 표준 벤치마크에서 준지도 학습이 향상되는가?
• RQ3 의미론적 손실이 네트워크가 구조화된 출력(랭킹, 경로)을 더 정확하게 학습하고 예측하는 데 도움이 되는가?
• RQ4 복잡한 제약에 대해 의미론적 손실을 효율적으로 계산할 수 있는가?

주요 결과

• 의미론적 손실은 MNIST, FASHION, CIFAR-10에서 준지도 학습 성능이 거의 최첨단에 이른다.
• 레이블이 제한된 경우(예: 100개) 의미론적 손실은 순수 감독 기법과 엔트로피 기반 정규화보다 상당한 이점을 제공한다.
• MNIST에서 의미론적 손실 보강 모델은 사다리 네트에 근접하며, 아키텍처/하이퍼파라미터 차이로 인한 작은 차이만 존재한다.
• FASHION 및 CIFAR-10에서 의미론적 손실은 강력한 기준치를 능가하고 여러 설정에서 사다리 네트와 경쟁력 또는 우위를 보인다.
• 복잡한 구조적 제약(경로, 랭킹)에 대해 의미론적 손실은 단순한 라벨 정확도 향상 외에 일관된(유효한) 예측과 제약 충족 능력을 크게 개선한다.
• 간단한 제약에 대해서는 계산 효율적이며, 복잡한 제약에 대해서도 회로 기반 방법을 활용해 추론과 그래디언트 계산을 수월하게 한다.