[논문 리뷰] Knowledge Augmented Machine Learning with Applications in Autonomous Driving: A Survey

Julian Wörmann, Daniel Bogdoll외 50명|arXiv (Cornell University)|2022. 05. 10.

Machine Learning and Data Classification인용 수 14

한 줄 요약

이 종합 검토는 외부 지식을 통합하여 데이터 중심 모델의 성능을 햖थ하려는 지식 보강 기계학습(KAML)을 제안한다. 이는 데이터가 부족하거나 안전이 중요한 시나리오에서 일반화 능력과 신뢰성을 향상시킨다. KAML 방법을 지식 통합, 추출, 준수로 분류하여 구조화된 지식이 데이터 부족 문제를 완화하고 실제 적용 시 모델의 신뢰성을 높이는 방식을 설명한다.

ABSTRACT

The availability of representative datasets is an essential prerequisite for many successful artificial intelligence and machine learning models. However, in real life applications these models often encounter scenarios that are inadequately represented in the data used for training. There are various reasons for the absence of sufficient data, ranging from time and cost constraints to ethical considerations. As a consequence, the reliable usage of these models, especially in safety-critical applications, is still a tremendous challenge. Leveraging additional, already existing sources of knowledge is key to overcome the limitations of purely data-driven approaches. Knowledge augmented machine learning approaches offer the possibility of compensating for deficiencies, errors, or ambiguities in the data, thus increasing the generalization capability of the applied models. Even more, predictions that conform with knowledge are crucial for making trustworthy and safe decisions even in underrepresented scenarios. This work provides an overview of existing techniques and methods in the literature that combine data-driven models with existing knowledge. The identified approaches are structured according to the categories knowledge integration, extraction and conformity. In particular, we address the application of the presented methods in the field of autonomous driving.

연구 동기 및 목표

• 자율주행에서 순수하게 데이터 중심 모델의 한계, 특히 표현이 부족하거나 안전이 중요한 상황에서의 한계를 해결한다.
• 데이터 부족과 분포 이탈 문제를 해결하기 위해 외부 지식을 기계학습에 통합하는 방법을 식별하고 분류한다.
• 지식 통합, 지식 추출, 지식 준수의 세 가지 핵심 요소를 기반으로 지식 보강 기반 접근법을 체계적으로 분석한다.
• 자율주행에서 신뢰할 수 있고 해석 가능한 의사결정이 안전성에 필수적인 점을 실증적으로 보여준다.
• 실세계 AI 구현을 위한 지식 보강 학습 분야의 최신 기법과 열린 과제에 대한 종합적인 개요를 제공한다.

제안 방법

• 기존 KAML 기법을 지식 통합(예: 심벌 규칙, 지식 그래프, 제약 조건 통합), 지식 추출(예: 사전 학습된 모델이나 전문가 시스템에서 지식을 정제), 지식 준수(예: 논리적 일관성 또는 물리적 타당성 강제)의 세 핵심 구성요소로 분류한다.
• 신경망에 아키텍처 제약, 손실 함수, 주의 메커니즘을 통해 사전 지식를 통합하여 일반화 능력을 향상시키는 방법을 조사한다.
• 지식 그래프와 상징적 추론이 자율 시스템의 표현 학습과 의사결정을 어떻게 이끌어내는지 설명한다.
• 교통 규칙, 물리 기반 역학, 시나리오 의미와 같은 도메인 특화 지식과 모델 예측이 일치하도록 하는 기법을 검토한다.
• 딥 러닝과 상징적 AI를 결합한 하이브리드 학습 프레임워크, 예를 들어 신경-기호 네트워크 및 가분성 논리 모듈을 분석한다.
• 불확실성 정량화와 능동 학습이 지식 일관성을 유지하면서도 애너테이션 비용을 줄이는 데서의 역할을 평가한다.

실험 결과

연구 질문

• RQ1 자율주행에서 데이터가 부족하거나 드문 사건 발생 상황에서 외부 지식을 효과적으로 데이터 중심 모델에 통합하여 신뢰성 있는 성능 향상을 이끌 수 있는가?
• RQ2 학습된 모델이나 전문가 시스템에서 추출 가능한 해석 가능한 지식을 얻기 위한 핵심 기술적 접근법은 무엇인가?
• RQ3 지식 준수 메커니즘은 특히 분포 외부 설정에서 모델 예측이 논리적으로 일관되고 물리적으로 타당한지 보장하는 데 어떻게 기여하는가?
• RQ4 지식 보강 모델은 순수하게 데이터 중심 모델과 비교해 자율주행 응용 분야에서 일반화 능력, 안전성, 신뢰성 측면에서 어떻게 다른가?
• RQ5 실세계 안전이 중요한 시스템에 적용하기 위해 지식 보강 기계학습을 확장하는 데 있어 주요 과제와 열린 연구 과제는 무엇인가?

주요 결과

• 지식 보강 모델은 대규모 애너테이션 데이터셋에 의존도를 줄이며 데이터 부족 상황에서 일반화 능력을 크게 향상시킨다.
• 교통 규칙이나 물리적 역학과 같은 도메인 지식을 통합하면 드문 또는 모호한 주행 상황에서 더 신뢰할 수 있고 해석 가능한 예측이 가능해진다.
• 가분성 논리나 제약 최적화와 같은 지식 준수 기법은 분포 외부 설정에서 모델의 강건성과 예측 오류를 줄이는 데 기여한다.
• 지식 그래프와 상징적 추론을 통한 지식 통합은 모델의 해석 가능성 향상에 기여하며, 안전이 중요한 시스템에서 디버깅과 검증을 용이하게 한다.
• 하이브리드 신경-기호 프레임워크는 딥 러닝의 표현 능력과 상징적 AI의 추론 능력을 결합하는 데 있어 잠재력을 보이고 있다.
• 진전이 있었음에도 불구하고, 확장 가능한 지식 확보, 동적 지식 통합, 실시간 자율 시스템에서 이질적인 지식 소스 간의 일관성 확보 문제는 여전히 과제로 남아 있다.