[논문 리뷰] Right for the Right Concept: Revising Neuro-Symbolic Concepts by Interacting with their Explanations

Wolfgang Stammer, Patrick Schramowski외 1명|arXiv (Cornell University)|2020. 11. 25.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 시각적 주의 맵에 의존하지 않고 객체 수준의 상징적이고 조합적인 설명과 상호작용함으로써 신경-기호 개념 학습자를 개선하는 Neuro-Symbolic Explanatory Interactive Learning (NeSy XIL) 방법을 소개한다. 새로운 오염된 데이터셋(CLEVR-Hans)을 바탕으로, '색상에 주로 초점을 맞추지 마라'와 같은 의미적 피드백이 GRAY 큐브와 같은 오염 요인을 효과적으로 제거하여, 시각적 설명 기반 방법을 뛰어넘는 모델의 강건성과 정확도를 향상시킴을 입증한다.

ABSTRACT

Most explanation methods in deep learning map importance estimates for a model's prediction back to the original input space. These "visual" explanations are often insufficient, as the model's actual concept remains elusive. Moreover, without insights into the model's semantic concept, it is difficult -- if not impossible -- to intervene on the model's behavior via its explanations, called Explanatory Interactive Learning. Consequently, we propose to intervene on a Neuro-Symbolic scene representation, which allows one to revise the model on the semantic level, e.g. "never focus on the color to make your decision". We compiled a novel confounded visual scene data set, the CLEVR-Hans data set, capturing complex compositions of different objects. The results of our experiments on CLEVR-Hans demonstrate that our semantic explanations, i.e. compositional explanations at a per-object level, can identify confounders that are not identifiable using "visual" explanations only. More importantly, feedback on this semantic level makes it possible to revise the model from focusing on these factors.

연구 동기 및 목표

• 딥 러닝 모델에서 오염 요인을 식별하는 데에 시각적 설명의 한계를 해결하기 위해.
• 사용자가 입력 수준을 넘어서 의미적 개념 수준에서 모델를 수정할 수 있도록 하기 위해.
• 상징적 피드백을 사용하여 모델 행동을 상호작용적으로 수정할 수 있는 신경-기호 프레임워크를 개발하기 위해.
• 모델의 강건성을 테스트하기 위해 분리되지 않은 오염 요인을 포함한 새로운 벤치마크 데이터셋(CLEVR-Hans)을 만들기 위해.
• 전역적인 상징적 수준의 피드백 규칙이 신경-기호 모델에서 '현명한-한스' 행동을 효과적으로 수정할 수 있음을 입증하기 위해.

제안 방법

• 스лот 주의와 세트 트랜스포머를 조합한 끝에서 끝까지 미분 가능한 객체 중심 표현 학습을 위한 신경-기호 개념 학습자 제안.
• 특히 색상과 같은 오염된 속성에 대한 모델 의존도를 억제하기 위한 새로운 손실 함수 도입.
• 오류 설명의 상징적 애너테이션을 활용해 최적화를 이끌어내어, '틀리게 오른 이유'에서 '틀리지 않은 이유'로의 수정을 가능하게 함.
• 각 객체에 대한 상징적 설명을 노출시켜, 시각적 수준과 개념적 수준에서 모두 설명 기반 상호작용 학습(XIL)을 가능하게 함.
• 모든 인스턴스에 일반화되는 전역 피드백 규칙(예: '회색에 절대 주의하지 마라')을 지원하여 모델의 일반화 능력을 향상시킴.
• 사용자-기계 상호작용을 원천 입력 특징이 아닌 개념 수준에서 가능하게 하기 위해 상징적 추상화 계층을 사용함.

Figure 1 : Neuro-Symbolic explanations are needed to revise deep learning models from focusing on irrelevant features via global feedback rules.

실험 결과

연구 질문

• RQ1 표준 시각적 설명 방법이 감지하지 못하는 오염 요인을 상징적이고 조합적인 설명이 식별할 수 있는가?
• RQ2 초기 재학습 없이도 상징적 수준의 전역 피드백 규칙이 모델 행동을 효과적으로 수정할 수 있는가?
• RQ3 상징적 설명을 사용하여 신경-기호 모델을 수정하면 오염된 데이터에서 강건성과 정확도가 향상되는가?
• RQ4 신경-기호 모델이 상호작용적으로 수정되어 오염된 상관관계(예: 물체의 색상)에 의존하지 않도록 할 수 있는가?
• RQ5 시각적 설명 기반 피드백과 비교했을 때 상징적 피드백은 '현명한-한스' 행동을 수정하는 데 더 효과적인가?

주요 결과

• CLEVR-Hans3 데이터셋에서 NeSy XIL은 기본 NeSy 모델 대비 상징적 설명의 상대적 L1 오차를 73% 감소시켰다.
• 클래스 1에서 '회색에 주의하지 마라'는 전역 피드백 규칙을 적용함으로써 테스트 정확도가 유의미하게 향상되어 오염된 행동의 효과적인 수정을 입증했다.
• 참값 상징적 표현이 제공된 경우, 모델은 거의 완벽한 테스트 정확도를 달성하여 상징적 수정 메커니즘의 효과성을 확인했다.
• 상징적 손실과 RRR(강화 기반 정규화 규칙) 손실의 사용으로, 부정적인 사용자 피드백이 있는 상황에서도 안정적인 최적화가 가능했다.
• 모든 클래스에서 오염 요인(회색 큐브)에 대한 의존도가 성공적으로 제거되어, 상징적 피드백이 수정의 일반화를 가능하게 함을 증명했다.
• 결과적으로, 시각적 설명만으로는 탐지할 수 없는 오염 요인을 식별하고 수정하는 데에 상징적 설명이 필수적임을 보여주었다.

Figure 2 : Visual Explanations for ColorMNIST. (Left) the general data distribution between train and test split. (Right) a typical visual explanation of a CNN. Notice digit pixels are considered as important for the wrong prediction.