[논문 리뷰] Self-explaining deep models with logic rule reasoning

Seungeon Lee, Xiting Wang외 4명|arXiv (Cornell University)|2022. 10. 13.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 인간의 의사결정 논리와 일치하는 인간 정밀도의 설명을 유지하면서도 높은 예측 성능을 유도하는 자기 설명형 딥러닝 프레임워크인 SELOR를 제안한다. 인간이 제공한 추론 과정 없이도 기계학습 모델이 입력에 대해 해석 가능한 논리 규칙을 미분 가능하게 종합적으로 학습함으로써, 다양한 입력에 대해 신뢰할 수 있고 안정적이며 의미적으로 일관된 설명을 생성한다.

ABSTRACT

We present SELOR, a framework for integrating self-explaining capabilities into a given deep model to achieve both high prediction performance and human precision. By "human precision", we refer to the degree to which humans agree with the reasons models provide for their predictions. Human precision affects user trust and allows users to collaborate closely with the model. We demonstrate that logic rule explanations naturally satisfy human precision with the expressive power required for good predictive performance. We then illustrate how to enable a deep model to predict and explain with logic rules. Our method does not require predefined logic rule sets or human annotations and can be learned efficiently and easily with widely-used deep learning modules in a differentiable way. Extensive experiments show that our method gives explanations closer to human decision logic than other methods while maintaining the performance of deep learning models.

연구 동기 및 목표

• 자기 설명형 모델에서 인간의 추론 방식과 일치하지 않는 설명이 존재하는 문제를 해결하기 위해, 설명이 해석 가능하더라도 인간의 사고 방식과 일치하지 않는 경우가 많다는 점을 다루는 것.
• 모델의 출력과 인간의 인식에 충실한 동시에, 전역적으로 일관성 있는(인간의 논리 양식을 따름) 및 국소적으로 일관성 있는(예측에 대한 정확한 추론) 설명을 보장하는 방법을 개발하는 것. 이는 인간이 애초에 제공한 결정 과정이 필요로 하지 않는다.
• 표준 딥러닝 모듈을 사용하여 논리 규칙 설명을 종단 간(end-to-end)으로, 미분 가능하게 학습시키는 것. 사전 정의된 규칙이나 후행적 근사치에 의존하지 않는다.
• 사용자 신뢰도 향상과 모델 협업을 위해, 모델의 출력에 충실할 뿐 아니라 인간에게 직관적이고 실행 가능한 설명을 생성함으로써 도움이 되는 것.

제안 방법

• 딥 레이어 표현에서 기호적 논리 규칙을 생성하는 미분 가능한 논리 규칙 생성기를 학습함으로써, 단일 순방향 전파에서 예측과 설명을 동시에 수행할 수 있도록 한다.
• 입력 특징에 대해 논리 규칙의 진리도를 평가하는 미분 가능한 논리 추론 모듈을 사용함으로써, 논리 연산을 거쳐 역전파(backpropagation)가 가능하도록 한다.
• 예측 손실과 설명 일관성 손실을 조합한 다중목표 최적화를 통해 학습함으로써, 모델 출력과 인간의 인식에 대한 충실도를 향상시킨다.
• 학습 가능한 논리 연산자 공간을 사용하여 논리 규칙를 구성함으로써, AND, OR, 또는 BEFORE와 같은 사용자 정의 관계 등 다양한 형태의 규칙를 유연하게 표현할 수 있으며, 이는 인간의 사고 패턴을 반영한다.
• 사전 정의된 규칙 집합이나 인간이 애초에 제공한 추론 과정이 필요로 하지 않아, 확장 가능한 데이터 기반 규칙 탐색이 가능하다.
• 소규모 입력 변화(예: 동의어 교체)가 중요한 특징이 변경되지 않는 한 설명이 변하지 않도록 하여 설명의 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 자기 설명형 모델은 모델에 충실한 설명 외에도 인간의 의사결정 논리와 일치하는 설명을 생성할 수 있는가?
• RQ2 사람이 애초에 제공한 추론 과정이 없이도, 딥러닝 모델에 논리 규칙를 미분 가능하고 종단 간 학습이 가능한 방식으로 통합할 수 있는가?
• RQ3 소규모 입력 변화에 대해 설명이 안정을 유지하면서도, 중요한 의미 변화에 적응할 수 있는가?
• RQ4 기존의 후행적 또는 국소적 설명 방법에 비해 논리 규칙을 사용할 경우 인간의 정밀도가 향상되는가?

주요 결과

• 인간 평가를 통해 감성 분류 작업에서 기존의 후행적 또는 자기 설명형 방법에 비해 SELOR는 인간의 의사결정 논리에 훨씬 더 가까운 설명을 생성함을 입증했다.
• 표준 딥러닝 모델과 비교해도 높은 예측 성능를 유지함으로써, 설명 가능성의 확보가 정확도에 영향을 주지 않음을 보여주었다.
• 소규모 입력 변화(예: 'pizza'를 'pasta'로 교체하거나 'waiters'를 'servers'로 교체)에 대해 설명이 안정적으로 유지되며, 감성에 중요한 단어가 변경될 경우 의미적으로 적절하게 변화함을 보였다(예: 'cold' → 'hot').
• 감성에 중요한 단어가 변경될 경우(예: 'cold' → 'hot' 또는 'rude' → 'polite') SELOR는 새로운 맥락에 적합한 논리 규칙를 생성함으로써 적응형 추론 능력을 보였다.
• 프레임워크는 높은 인간 정밀도를 달성하여, 인간 평가자들이 설명을 정확한 추론으로 인식함을 보였으며, 선형 모델이나 어텐션 기반 설명 기반선보다 뛰어난 성능을 보였다.
• 사전 정의된 규칙 집합이 필요 없이도, 자연스러운 인간의 사고 패턴을 반영한 설명 가능한 논리 규칙(예: 'awful AND cold AND rude → Negative')을 성공적으로 학습했다.