[논문 리뷰] Collaboratively boosting data-driven deep learning and knowledge-guided ontological reasoning for semantic segmentation of remote sensing imagery

Yansheng Li, Song Ouyang외 1명|arXiv (Cornell University)|2020. 10. 06.

Remote-Sensing Image Classification참고 문헌 35인용 수 4

한 줄 요약

이 논문은 원격 감지 영상의 의미적 분할을 위해 데이터 기반 딥 러닝과 지식 유도 온톨로지 추론을 통합하는 협업적 부스팅 프레임워크(CBF)를 제안한다. 딥 러닝 네트워크와 온톨로지 기반 추론 모듈 간 상호 피드백을 통해 예측을 반복적으로 개선함으로써, 특히 복잡한 시나리오에서 분할 정확도를 향상시키며, 단독으로 사용되는 딥 러닝 또는 지식 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

As one kind of architecture from the deep learning family, deep semantic segmentation network (DSSN) achieves a certain degree of success on the semantic segmentation task and obviously outperforms the traditional methods based on hand-crafted features. As a classic data-driven technique, DSSN can be trained by an end-to-end mechanism and competent for employing the low-level and mid-level cues (i.e., the discriminative image structure) to understand images, but lacks the high-level inference ability. By contrast, human beings have an excellent inference capacity and can be able to reliably interpret the RS imagery only when human beings master the basic RS domain knowledge. In literature, ontological modeling and reasoning is an ideal way to imitate and employ the domain knowledge of human beings, but is still rarely explored and adopted in the RS domain. To remedy the aforementioned critical limitation of DSSN, this paper proposes a collaboratively boosting framework (CBF) to combine data-driven deep learning module and knowledge-guided ontological reasoning module in an iterative way.

연구 동기 및 목표

• 원격 감지 영상 분할에 대한 데이터 기반 딥 러닝 모델의 고수준 추론 부족 문제를 해결하기 위해.
• 도메인 특화 지식을 온톨로지에서 활용하여 의미적 분할의 해석 가능성과 견고성을 향상시키기 위해.
• 순수하게 데이터 기반 접근 방식이 복잡하거나 드문 시나리오에서 일반화에 실패하는 한계를 극복하기 위해.
• 저수준 특징과 고수준 의미적 추론을 결합하여 반복적으로 예측을 향상시키는 협업 프레임워크를 개발하기 위해.
• 딥 러닝과 지식 기반 추론을 통합할 경우 원격 감지 영상에서 더 뛰어난 분할 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 딥 세그멘테이션 네트워크(DSSN)와 온톨로지 기반 추론 모듈을 번갈아가며 예측을 개선하는 협업적 부스팅 프레임워크(CBF)를 제안한다.
• 초기 분할을 위해 U-Net 기반 DSSN을 사용하여 저수준 및 중수준 특징을 추출한다.
• 원격 감지 객체의 도메인 지식(예: 공간적, 스펙트럼적, 맥락적 관계)을 온톨로지 모델에 인코딩한다.
• 온톨로지에서 논리적 추론과 제약 조건 전파를 적용하여 의미 일관성 기반으로 분할 결과를 개선한다.
• DSSN의 예측 결과가 온톨로지에 영향을 주고, 온톨로지 기반 추론이 DSSN 출력을 보정하는 반복적 피드백 루프를 구현한다.
• DSSN 훈련을 위한 교차 엔트로피 손실과 온톨로지 개선을 위한 논리 일관성 손실을 조합한 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 지식 기반 온톨로지 추론의 통합이 원격 감지 영상 분할에서 데이터 기반 딥 러닝 모델의 성능을 향상시킬 수 있는가?
• RQ2 딥 러닝과 온톨로지 기반 추론 간의 반복적 협업이 분할 정확도와 견고성을 어떻게 향상시키는가?
• RQ3 온톨로지 기반 추론은 순수하게 데이터 기반 모델의 고수준 추론 부족을 어느 정도 보완할 수 있는가?
• RQ4 도메인 특화 지식이 복잡하거나 모호한 원격 감지 환경에서의 잘못된 분류를 줄이는 데 어떤 영향을 미치는가?
• RQ5 제안된 CBF 프레임워크는 단독으로 사용되는 딥 러닝 또는 지식 기반 접근 방식보다 어떻게 뛰어나게 되는가?

주요 결과

• CBF 프레임워크는 벤치마크 원격 감지 데이터셋에서 최신 딥 러닝 모델들보다 뚜렷한 성능 향상을 달성한다.
• 온톨로지 기반 추론의 통합으로 희귀하거나 모호한 객체 클래스의 잘못된 분류 비율이 감소한다.
• 반복적 피드백 메커니즋试로 분할 결과의 일관성과 공간적 타당성이 향상된다.
• 낮은 데이터 환경과 복잡한 도시 또는 이질적인 환경에서 뛰어난 일반화 성능을 보여준다.
• 정량적 결과로 기준 DSSN 모델 대비 평균 교차율(mIoU)에서 5-8% 향상된 성과를 기록한다.
• 제거 실험 결과, 딥 러닝 및 온톨로지 기반 추론 컴포넌트가 최적 성능을 내기 위해 모두 필수적임을 확인한다.