[논문 리뷰] Explaining Trained Neural Networks with Semantic Web Technologies: First Steps

Md Kamruzzaman Sarker, Ning Xie외 3명|arXiv (Cornell University)|2017. 10. 11.

Anomaly Detection Techniques and Applications참고 문헌 13인용 수 28

한 줄 요약

이 논문은 구조화된 의미 웹 지식(예: RDF/OWL 온톨로지)을 통합하여 훈련된 신경망을 설명하는 새로운 접근법을 제안한다. 이는 인간이 이해할 수 있는 비명제적 설명을 생성한다. DL-Learner와 SUMO의 배경 지식을 활용하여 이미지 분류 결과를 설명하는 논리적 개념 기술(예: '물체가 있는 수역을 포함함')을 생성하며, 창고, 시장, 산맥 이미지 데이터셋에서의 초보적 실험을 통해 가능성을 입증한다.

ABSTRACT

The ever increasing prevalence of publicly available structured data on the World Wide Web enables new applications in a variety of domains. In this paper, we provide a conceptual approach that leverages such data in order to explain the input-output behavior of trained artificial neural networks. We apply existing Semantic Web technologies in order to provide an experimental proof of concept.

연구 동기 및 목표

• 블랙박스 신경망에서 인간이 이해할 수 있는 설명의 부족 문제를 해결하기 위해, 특히 안전이 중요한 응용 분야에서.
• 명제적 규칙 추출을 넘어서서 RDF/OWL 온톨로지에서 유래한 비명제적 의미 지식을 활용함으로써 설명의 질을 향상시키기 위해.
• 외부 구조화된 지식(예: SUMO, 위키데이터)을 통합하여 신경망 행동의 설명을 단순화하고 풍부하게 하기 위해.
• 입력-출력 매핑과 내부 뉴런 활성화를 설명하는 데 의미적 배경 지식을 활용할 수 있는지 탐색하기 위해.
• 의미 웹 기술을 활용한 신경-기호 통합을 위한 개념적 및 실험적 기반을 마련하기 위해.

제안 방법

• 기존의 의미 웹 기술, 즉 지식 표현을 위한 RDF와 온톨로지 모델링을 위한 OWL을 활용하여 배경 지식을 인코딩한다.
• 훈련 데이터와 배경 지식에서 자동으로 기술 논리(Description Logic) 기반의 논리적 개념 기술을 유도하기 위해 DL-Learner 도구를 사용한다.
• 입력 특징(예: 객체 인식을 통해 탐지된 이미지 객체)을 SUMO와 같은 형식적 온톨로지의 개념에 매핑한다.
• 분류 결과를 설명하는 논리적 표현(예: ∃contains.BodyOfWater)을 구성하여 의미 조건을 기술한다.
• 양성 및 부정성 이미지 예제를 사용하여 설명 생성기를 훈련함으로써 이미지 분류 작업에 이 방법을 적용한다.
• 온톨로지 계층 구조(예: '단풍나무'와 '참나무'가 '나무'의 하위 클래스임)를 활용하여 설명을 일반화하고 단순화한다.

실험 결과

연구 질문

• RQ1 구조화된 의미 웹 지식은 명제적 규칙 추출을 넘어서 신경망 예측의 해석 가능성에 기여할 수 있는가?
• RQ2 비명제적 개념 기반 설명(예: '수역을 포함함')은 신경망 입력에서 자동으로 생성될 수 있는가?
• RQ3 SUMO와 같은 온톨로지에서 유래한 배경 지식이 설명의 간결성과 의미적 함의를 얼마나 향상시키는가?
• RQ4 사용자 모니터링자가 이러한 설명을 활용하여 모델의 잘못된 분류, 예를 들어 핵심 시각적 특징을 누락한 경우를 탐지하고 수정할 수 있는가?
• RQ5 배경 지식의 선택이 생성된 설명의 품질과 정확성에 어떤 영향을 미치는가?

주요 결과

• 이 방법은 산맥 이미지에 대해 '물체가 있는 수역을 포함함'과 같은 의미적으로 의미 있는 설명을 성공적으로 생성하였으며, 이는 시각적 콘텐츠와 일치하였다.
• 의도적으로 '가구나 산업용 비품이 없음'과 같은 설명은 객체 탐지 결과가 불완전하더라도 작업실과 창고를 정확히 구분하는 데 성공하였다.
• 시스템은 창고 이미지에서 포크레일 기사가 모델에 의해 간과되었음을 식별하여 인간이 개입하는 보정 가능성의 가능성을 시사하였다.
• 온톨로지 일반화(예: '참나무'와 '단풍나무'가 '나무'의 슈퍼클래스임)를 활용함으로써 설명의 복잡도가 감소하였으며, 배경 지식이 설명을 단순화한다는 가설을 지지하였다.
• 실험 결과, 설명은 시각적 특징(예: 산맥 이미지에서 강이나 호수의 존재)과 일치하였으며, 이는 방법의 입력 데이터와의 일치를 검증하였다.
• 이 방법은 기존의 의미 웹 스택과 DL-Learner와 같은 도구를 활용하여 비명제적이고 인간이 읽을 수 있는 설명을 생성하는 데 있어 실현 가능성을 입증하였다.