[논문 리뷰] Improving Deep Learning Models via Constraint-Based Domain Knowledge: a Brief Survey

Andrea Borghesi, Federico Baldo외 1명|arXiv (Cornell University)|2020. 05. 19.

Multimodal Machine Learning Applications참고 문헌 39인용 수 24

한 줄 요약

이 논문은 데이터가 부족하거나 학습이 복잡한 상황에서 성능을 향상시키기 위해 도메인 지식을 제약 기반으로 딥 네ural 네트워크(DNN)에 통합하는 방법을 조사한다. 기법을 다섯 가지 범주—특징 공간, 가설 공간, 데이터 증강, 정규화, 제약 학습—로 분류하여 논리적, 대수적, 또는 구조적 제약을 통합함으로써 모델의 정확도, 일반화 능력, 학습 효율성이 향상됨을 보여준다.

ABSTRACT

Deep Learning (DL) models proved themselves to perform extremely well on a wide variety of learning tasks, as they can learn useful patterns from large data sets. However, purely data-driven models might struggle when very difficult functions need to be learned or when there is not enough available training data. Fortunately, in many domains prior information can be retrieved and used to boost the performance of DL models. This paper presents a first survey of the approaches devised to integrate domain knowledge, expressed in the form of constraints, in DL learning models to improve their performance, in particular targeting deep neural networks. We identify five (non-mutually exclusive) categories that encompass the main approaches to inject domain knowledge: 1) acting on the features space, 2) modifications to the hypothesis space, 3) data augmentation, 4) regularization schemes, 5) constrained learning.

연구 동기 및 목표

• 학습 데이터가 부족하거나 목표 함수가 매우 복잡한 경우에 딥 러닝 모델의 성능이 열 劣하는 문제를 해결한다.
• 제약 조건으로 표현된 도메인 지식을 딥 네ural 네트워크에 통합하는 방법을 식별하고 분류한다.
• 제약 기반 지식 통합 기법에 대한 체계적인 개요를 제공하여 연구자와 실무자에게 안내한다.
• 딥 러닝에서 제약 조건을 통한 도메인 지식 통합 시 공통되는 추세, 과제, 열린 문제를 부각시킨다.
• 다양한 응용 분야에서 제약 조건 표현 및 통합 메커니즘을 표준화하기 위한 통합 프레임워크를 제안한다.

제안 방법

• 제약 기반 지식 통합 기법을 다섯 가지 상호 배타적이지 않은 범주로 분류한다: 특징 공간 조작, 가설 공간 수정, 제약 조건을 활용한 데이터 증강, 제약 조건을 통합한 정규화 기법, 종단 간 제약 학습.
• 제약 조건의 범위에 따라 분류한다: 입력 전용, 출력 전용, 또는 입력-출력 관계를 포함하며, 논리적, 대수적, 등식, 부등식, 단조성 제약 조건을 포함한다.
• 엄격한 제약 조건(필수로 만족되어야 함)과 부드러운 제약 조건(위반 시 벌점 부과)을 구분하여 최적화 목표에 민첩하게 통합할 수 있도록 한다.
• 제약 프로그래밍과 논리 기반 형식화를 기반으로 다양한 도메인 지식을 통합적이고 표현력 있는 언어로 표현한다.
• 데이터 가용성과 모델 복잡도에 따라 최적의 통합 전략을 선택하는 프레임워크를 제안한다: 데이터가 부족할 경우 데이터 증강, 숨겨진 패턴이 있을 경우 아키텍처 수정, 복잡한 작업일 경우 정규화/제약 학습.
• 특히 종단 간 학습에서 정확도와 제약 조건 이행 간의 트레이드오프가 중요한 만큼, 손실 최소화와 제약 조건 이행 간의 균형을 유지하는 것이 중요하다는 점을 강조한다.

실험 결과

연구 질문

• RQ1 제약 조건으로 표현된 도메인 지식는 저데이터 환경에서 딥 네ural 네트워크의 성능을 어떻게 향상시킬 수 있는가?
• RQ2 딥 러닝에서 제약 기반 지식 통합 기법의 주요 범주와 그 기작 및 응용 분야에서의 차이는 무엇인가?
• RQ3 표준화된 벤치마크 부족으로 인해 제약 조건 통합 기법을 비교 및 평가하는 데 어떤 주요 과제가 존재하는가?
• RQ4 제약 조건 표현 및 통합을 위한 통합 프레임워크는 딥 러닝 분야의 연구 및 응용을 어떻게 향상시킬 수 있는가?
• RQ5 다양한 데이터 및 작업 조건에서 데이터 증강, 아키텍처 수정, 정규화 중 어떤 제약 조건 통합 전략이 가장 효과적인가?

주요 결과

• 제약 기반 지식 통합은 특히 데이터가 부족하거나 학습이 복잡한 상황에서 딥 러닝 성능을 크게 향상시킨다.
• 특징 공간, 가설 공간, 데이터 증강, 정규화, 제약 학습의 다섯 가지 범주로 식별된 기법들은 서로 다른 메커니즘을 가진다 하더라도 상호 보완적인 접근 방식을 제공한다.
• 엄격한 제약 조건과 부드러운 제약 조건은 모두 학습 목표에 효과적으로 통합될 수 있으며, 특히 부드러운 제약 조건은 벌점 항목을 통한 미분 가능 최적화를 가능하게 한다.
• 데이터가 제한된 경우 데이터 증강과 특징 공간 조작이 가장 효과적이며, 이는 알려진 관계를 활용해 효과적인 데이터 다양성을 증가시키기 때문이다.
• 아키텍처 수정(가설 공간 변경)은 원시 데이터에서 쉽게 추출하기 어려운 숨겨진 패턴을 드러내는 데 특히 유용하다.
• 정규화 및 종단 간 제약 학습은 정확도 외의 지표도 고려해야 하는 복잡한 작업에 가장 적합하며, 손실 최소화와 제약 조건 이행 간의 균형 조정이 신중히 이루어져야 한다.