[논문 리뷰] A Review on Intelligent Object Perception Methods Combining Knowledge-based Reasoning and Machine Learning

Filippos Gouidis, Alexandros Vassiliades외 4명|arXiv (Cornell University)|2019. 12. 26.

Multimodal Machine Learning Applications참고 문헌 61인용 수 9

한 줄 요약

이 논문은 지식 기반 추론과 기계 학습을 통합하는 하이브리드 접근법을 검토하여 컴퓨터 시각에서 지능적인 물체 인식을 향상시키는 데 초점을 맞춘다. 데이터 기반 모델과 상징적 표현, 일반 지식, 인과적 추론을 결합함으로써 물체 인식, 장면 이해, 시각적 추론 작업에서 성능 향상, 일반화 능력 향상, 설명 가능성 향상을 입증한다.

ABSTRACT

Object perception is a fundamental sub-field of Computer Vision, covering a multitude of individual areas and having contributed high-impact results. While Machine Learning has been traditionally applied to address related problems, recent works also seek ways to integrate knowledge engineering in order to expand the level of intelligence of the visual interpretation of objects, their properties and their relations with their environment. In this paper, we attempt a systematic investigation of how knowledge-based methods contribute to diverse object perception tasks. We review the latest achievements and identify prominent research directions.

연구 동기 및 목표

• 지식 기반 추론이 지능적인 물체 인식 작업에서 기계 학습을 어떻게 향상시키는지 조사하는 것.
• 데이터 기반 접근법과 상징적 인공지능을 통합하여 향상된 시각 이해를 달성하기 위한 핵심 연구 방향을 규명하는 것.
• 일반 지식, 인과적 추론, 관계적 추론이 순수 데이터 기반 학습을 넘어서 물체 인식을 발전시키는 데 어떤 역할을 하는지 분석하는 것.
• 오픈 도메인 지식과 형식적 의미론이 물체 인식 시스템에 어떤 영향을 미치는지 평가하는 것.
• 하이브리드 모델이 시각 시스템에서 더 나은 일반화, 내성, 설명 가능성 달성을 위한 잠재력을 탐색하는 것.

제안 방법

• 기계 학습과 상징적 지식 표현을 융합하는 하이브리드 물체 인식 시스템에 관한 최신 기술 문헌을 체계적으로 검토한다.
• 지식 통합을 세 가지 기둥으로 분류한다: 표현력 있는 상징적 모델, 일반 지식의 활용, 하이브리드 아키텍처를 통한 향상된 학습.
• 지식 그래프, 온톨로지, 의미 웹 기술을 활용하여 시각 작업에서 맥락, 공간적, 관계적 추론을 분석한다.
• 흑상자 딥 러닝 모델의 한계를 극복하기 위해 인과적 및 반사적 추론의 역할을 검토한다.
• 마르코프 논리 네트워크 및 느슨하게 결합된 상징적-확률적 모델과 같은 하이브리드 프레임워크를 평가하여 소규모 데이터셋에서의 일반화 능력을 향상시킨다.
• 비디오 및 텍스트 임베딩을 지식 기반과 융합하는 기법을 검토하여 시각 질문 응답 및 장면 이해에서 복잡한 추론을 지원한다.

실험 결과

연구 질문

• RQ1 상징적 지식 표현은 물체 인식에서 기계 학습 모델의 강건성과 해석 가능성에 어떻게 기여하는가?
• RQ2 일반 지식은 관측된 데이터를 초월하여 시각적 장면에 대해 추론할 수 있도록 시스템에 어떤 역할을 하는가?
• RQ3 지식 기반 추론과 딥 러닝을 융합한 하이브리드 모델은 데이터가 적은 환경에서 엔드 투 엔드 학습보다 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 인과적 추론과 관계적 추론은 어떻게 시각 시스템에 효과적으로 통합되어 반사적 및 설명 가능한 인공지능을 지원할 수 있는가?
• RQ5 지능적인 인식을 위해 상징적 접근법과 신경망 접근법을 견고하게 통합하는 데 있어 핵심 과제와 열린 연구 방향은 무엇인가?

주요 결과

• 느슨하게 결합된 상징적 추론과 기계 학습의 통합은 소규모 데이터셋에서 엔드 투 엔드 딥 네트워크보다 더 높은 정확도를 달성하며, 더 큰 데이터셋에서는 유사한 성능을 보인다.
• 형식적 의미론과 오픈 도메인 지식 기반은 공간적, 시간적, 인과적 추론과 같은 복잡한 추론 작업을 수행할 수 있도록 시스템을 가능하게 한다.
• 상징적 모델은 훈련 데이터 분포를 초월한 추상적 개념, 관계, 제약 조건에 대한 추론을 가능하게 하여 일반화 능력을 향상시킨다.
• 일반 지식 통합은 특히 분포 외부 또는 모호한 상황에서 시각 질문 응답 및 장면 이해 성능을 향상시킨다.
• 현재 하이브리드 시스템은 비단조화적 추론과 확장 가능한 인과적 추론에서 여전히 도전 과제를 안고 있으며, 특히 이질적인 지식 소스 통합 시에 더욱 그렇다.
• 지식 기반 추론의 통합은 설명 가능성 향상에 기여하며 반사적 추론을 가능하게 하여 딥 러닝 모델의 흑상자 성격을 해결한다.