[논문 리뷰] LYRICS: a General Interface Layer to Integrate AI and Deep Learning.

Giuseppe Marra, Francesco Giannini외 2명|arXiv (Cornell University)|2019. 03. 18.

Logic, Reasoning, and Knowledge참고 문헌 8인용 수 5

한 줄 요약

LYRICS는 딥러닝과 상징적 추론 간의 밀접한 통합을 가능하게 하는 텐서플로우 기반 프레임워크로, 일阶논리(FOL) 배경 지식을 미분 가능한 실수 값 제약 조건으로 변환한다. 이는 논리적 제약 조건 하에서 종단 간 신경망 학습을 가능하게 하여 생성 모델, 논리 추론, 모델 검증, 지도 학습 등 다양한 작업을 아키텍처 제약 없이 통합 학습할 수 있도록 한다.

ABSTRACT

In spite of the amazing results obtained by deep learning in many applications, a real intelligent behavior of an agent acting in a complex environment is likely to require some kind of higher-level symbolic inference. Therefore, there is a clear need for the definition of a general and tight integration between low-level tasks, processing sensorial data that can be effectively elaborated using deep learning techniques, and the logic reasoning that allows humans to take decisions in complex environments. This paper presents LYRICS, a generic interface layer for AI, which is implemented in TersorFlow (TF). LYRICS provides an input language that allows to define arbitrary First Order Logic (FOL) background knowledge. The predicates and functions of the FOL knowledge can be bound to any TF computational graph, and the formulas are converted into a set of real-valued constraints, which participate to the overall optimization problem. This allows to learn the weights of the learners, under the constraints imposed by the prior knowledge. The framework is extremely general as it imposes no restrictions in terms of which models or knowledge can be integrated. In this paper, we show the generality of the approach showing some use cases of the presented language, including generative models, logic reasoning, model checking and supervised learning.

연구 동기 및 목표

• 복잡한 환경에서 저수준 딥러닝과 고수준 상징적 추론 간 격차를 해소하기 위해.
• 임의의 일阶논리(FOL) 지식을 딥러닝 모델과 원활하게 통합하기 위해.
• 논리적 제약 조건이 신경망 학습 중 최적화 과정에 직접 영향을 주도록 하기 위해.
• 모델 아키텍처나 지식 표현에 제한이 없는 일반 목적 인터페이스 레이어를 제공하기 위해.

제안 방법

• 임의의 일阶논리(FOL) 배경 지식을 표현할 수 있는 도메인 전용 입력 언어 정의하기.
• FOL 술어와 함수를 텐서플로의 계산 그래프로 매핑하여, 미분 가능한 실행을 가능하게 하기.
• FOL 공식을 전체 최적화 목표에 참여하는 실수 값 제약 조건으로 변환하기.
• 백프로파게이션 동안 기울기가 논리적 제약 조건을 통해 흐르도록 하기 위해, 미분 가능한 논리 프로그래밍 사용하기.
• 논리적 제약 조건을 손실 함수의 일부로 간주하여 다양한 AI 작업 간 통합 지원하기.
• 신경망 가중치가 상징적 제약 조건 하에서 최적화되는 종단 간 학습 가능하게 하기.

실험 결과

연구 질문

• RQ1 일반 목적 프레임워크에서 상징적 논리가 딥러닝 모델과 어떻게 밀접하고 미분 가능한 방식으로 통합될 수 있는가?
• RQ2 FOL 제약 조건이 신경망 학습을 이끄는 실수 값 최적화 제약 조건으로 효과적으로 변환될 수 있는가?
• RQ3 LYRICS가 단일 인터페이스 아래에서 생성 모델링, 지도 학습, 논리 추론과 같은 다양한 AI 작업을 얼마나 잘 통합할 수 있는가?
• RQ4 복잡한 환경에서 상징 지식의 통합이 모델 성능과 일반화 능력을 얼마나 향상시키는가?
• RQ5 다양한 모델 아키텍처와 지식 표현 방식에 걸쳐 프레임워크의 확장성과 유연성은 어떠한가?

주요 결과

• LYRICS는 논리 공식을 미분 가능한 제약 조건으로 변환함으로써 일阶논리 지식을 딥러닝 모델과 성공적으로 통합한다.
• 프레임워크는 아키텍처 제약 없이 상징적 제약 조건 하에서 신경망 가중치가 최적화되는 종단 간 학습을 가능하게 한다.
• 이 접근 방식은 생성 모델링, 논리 추론, 모델 검증, 지도 학습 등 다양한 AI 워크로드를 지원한다.
• FOL를 통한 사전 지식 통합은 모델의 일관성을 향상시키고 대규모 레이블 데이터에 대한 의존도를 감소시킨다.
• 프레임워크는 다양한 AI 작업으로의 일반화 능력을 입증하여, 상징적 추론이 딥러닝 파이프라인에 본질적으로 통합될 수 있음을 보여준다.
• 미분 가능한 논리의 사용으로 기울기가 논리적 제약 조건을 통해 전파되어 신경망과 상징적 구성 요소의 공동 최적화가 가능해진다.