[논문 리뷰] Neuro-Symbolic Learning: Principles and Applications in Ophthalmology

Muhammad Hassan, Haifei Guan외 25명|arXiv (Cornell University)|2022. 07. 31.

Retinal Imaging and Analysis인용 수 7

한 줄 요약

이 논문은 신경기호학습(NeSyL)을 제안하며, 심화된 신경망과 기호적 추론을 융합하는 하이브리드 접근 방식을 통해 의료 영상, 특히 안과 분야에서의 해석 가능성, 설명 가능성 및 강인성을 향상시킨다. 도메인 지식과 일반 지식을 신경망 아키텍처에 통합함으로써 NeSyL은 망막 질환 분류, 분할 및 예측에서 뛰어난 성능을 달성하며, 백내장 분류에서 AUC 최대 0.975의 최신 기술 수준 성능을 보이며 순수 심화 학습 모델보다 높은 정확도를 확보한다.

ABSTRACT

Neural networks have been rapidly expanding in recent years, with novel strategies and applications. However, challenges such as interpretability, explainability, robustness, safety, trust, and sensibility remain unsolved in neural network technologies, despite the fact that they will unavoidably be addressed for critical applications. Attempts have been made to overcome the challenges in neural network computing by representing and embedding domain knowledge in terms of symbolic representations. Thus, the neuro-symbolic learning (NeSyL) notion emerged, which incorporates aspects of symbolic representation and bringing common sense into neural networks (NeSyL). In domains where interpretability, reasoning, and explainability are crucial, such as video and image captioning, question-answering and reasoning, health informatics, and genomics, NeSyL has shown promising outcomes. This review presents a comprehensive survey on the state-of-the-art NeSyL approaches, their principles, advances in machine and deep learning algorithms, applications such as opthalmology, and most importantly, future perspectives of this emerging field.

연구 동기 및 목표

• 심화 학습의 한계, 즉 해석 가능성, 강인성 및 신뢰성 부족 문제를 해결하기 위해 신경망에 기호 지식을 통합함으로써 의료 AI의 성능을 향상시키기 위해.
• 신경기호학습( NeSyL) 원리, 기계 학습 및 심화 학습 분야의 최신 발전, 그리고 안과 분야에서의 응용을 종합적으로 제시하기 위해.
• NeSyL이 안과 진단과 같은 핵심 분야에서 더 나은 추론, 설명 가능성 및 안전성으로 인해 임상 AI 시스템을 향상시키는 방식을 보여주기 위해.
• 의료 분야, 자율 시스템 및 기타 고위험 환경에서 NeSyL의 미래 방향성 탐색을 위해.

제안 방법

• 논문은 기호 표현(예: 규칙, 지식 그래프)과 심화 신경망을 융합하는 하이브리드 프레임워크를 제안하여 도메인 특화 지식을 학습 과정에 통합한다.
• 안과 영상에서의 특징 추출 및 분류 성능 향상을 위해 잔차 주의 기반 다중 모델 앙상블 네트워크를 활용한다.
• 전이 학습과 주의 메커니즘을 통합하여 당뇨성 망막병증 및 녹내망과 같은 망막 영상 분류 작업의 성능을 향상시킨다.
• 기호적 추론을 적용하여 모델 결정을 해석하고 논리적 규칙 및 구조화된 지식을 통해 예측의 설명을 가능하게 한다.
• 기호적 지도 학습을 지원하여 신경망 및 기호적 구성 요소를 함께 최적화할 수 있는 엔드 투 엔드 학습을 가능하게 한다.
• 응용 분야로는 공개 안과 데이터셋과 ResNet, UNet, 트랜스포머와 같은 고급 아키텍처를 활용한 영상 분류, 분할, 객체 탐지 및 질병 예측이 포함된다.

실험 결과

연구 질문

• RQ1 기호 지식을 심화 신경망에 효과적으로 통합하여 의료 AI의 해석 가능성과 강인성을 향상시킬 수 있는 방법은 무엇인가?
• RQ2 시각 작업에서 추론과 설명 가능성을 가능하게 하는 신경기호학습( NeSyL)의 핵심 원리와 아키텍처 구성 요소는 무엇인가?
• RQ3 NeSyL은 안과 질환 분류, 분할 및 예측에서 순수 심화 학습 모델보다 어떻게 뛰어난 성능을 보이는가?
• RQ4 임상 환경에 NeSyL을 구현할 때 발생하는 주요 과제는 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ5 의료 분야 및 자율 시스템에서 NeSyL의 미래 응용 및 연구 방향은 무엇인가?

주요 결과

• 잔차 주의 기반 다중 모델 앙상블은 B-초음파 영상에서 백내장 분류에서 AUC 0.975를 달성하여 이전 방법들을 능가했다.
• 녹내망 탐지에 대한 이중 단계 심화 학습 접근 방식은 AUC 0.874를 기록하여 이전 최신 기술 수준 결과보다 2.7% 향상된 성능을 보였다.
• CNN 기반 전이 학습은 카글(Kaggle) 데이터셋에서 당뇨성 망막병증 분류에서 95.68%의 정확도와 AUC 0.97을 달성했다.
• NeSyL 기반 모델은 예측을 기호 규칙에 연결함으로써 설명 가능성을 향상시켜 신뢰도와 임상적 활용 가능성을 높였다.
• 기호적 추론과 심화 학습의 통합은 복잡한 안과 영상 작업에서 일반화 능력과 강인성을 향상시켰다.
• 해석 가능하고 신뢰할 수 있는 인공지능을 통해 NeSyL은 향후 자율 시스템, 안전 모니터링 및 임상 의사결정 지원 분야에서 강력한 잠재력을 보였다.