[논문 리뷰] Not All Neuro-Symbolic Concepts Are Created Equal: Analysis and Mitigation of Reasoning Shortcuts

Emanuele Marconato, Stefano Teso외 2명|arXiv (Cornell University)|2023. 05. 31.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 신경기호(NeSy) 모델에서 발생하는 추론 단서(RS)를 규명하고 형식화한다. RS는 학습된 개념의 의도하지 않은 의미를 악용하여 높은 정확도를 달성하지만, 의도된 기호 지식을 따르지 않는 방식이다. RS의 네 가지 근본 원인을 규명하고, 지도 학습 및 비지도 학습 기반의 완화 전략을 제안하며, 실제로 큰 크기의 편향 없는 데이터셋에서도 RS가 지속됨을 입증함으로써 모델의 해석 가능성과 신뢰성에 악영향을 미친다.

ABSTRACT

Neuro-Symbolic (NeSy) predictive models hold the promise of improved compliance with given constraints, systematic generalization, and interpretability, as they allow to infer labels that are consistent with some prior knowledge by reasoning over high-level concepts extracted from sub-symbolic inputs. It was recently shown that NeSy predictors are affected by reasoning shortcuts: they can attain high accuracy but by leveraging concepts with unintended semantics, thus coming short of their promised advantages. Yet, a systematic characterization of reasoning shortcuts and of potential mitigation strategies is missing. This work fills this gap by characterizing them as unintended optima of the learning objective and identifying four key conditions behind their occurrence. Based on this, we derive several natural mitigation strategies, and analyze their efficacy both theoretically and empirically. Our analysis shows reasoning shortcuts are difficult to deal with, casting doubts on the trustworthiness and interpretability of existing NeSy solutions.

연구 동기 및 목표

• 학습 목표의 의도하지 않은 최적화로 나타나는 추론 단서(RS)를 신경기호(NeSy) 모델에서 형식적으로 정의하는 것.
• RS를 가능하게 하는 네 가지 핵심 요인인 데이터 분포, 사전 지식 구조, 학습 목표, 신경 개념 추출기 아키텍처를 규명하고 분석하는 것.
• 다양한 NeSy 벤치마크에서 지도 학습 및 비지도 학습 기반의 완화 전략의 효과를 평가하는 것.
• RS가 큰 크기의 편향 없는 데이터셋에서도 여전히 발생함을 경험적으로 입증하여 기존 NeSy 솔루션의 신뢰성에 도전하는 것.
• 현재 비지도 학습 기반 조치의 한계와 보편적으로 효과적인 완화 전략이 존재하지 않는다는 점을 강조하는 것.

제안 방법

• RS를 논리적 제약 조건을 만족하되, 의도된 기호적 의미를 위반하는 정확도 최대화 해법으로 형식화하는 것.
• 학습 목표와 개념의 의도된 의미 간의 괴리에서 RS가 발생함을 특징화하며, 특히 목표가 기호적 정확성과 일치하지 않을 경우에 특히 두드러짐.
• 네 가지 완화 전략 제안: (1) 개념 정규화(r), (2) 개념 지도 학습(c), (3) 히ュ리스틱 기반 개념 일치(h), (4) 다중 작업 학습(mtl), 각각 다른 근본 원인을 대상으로 함.
• DPL, SL, LTN 등 다양한 NeSy 아키텍처를 사용하여 XOR, MNIST-EvenOdd, MNIST-Multiplication, BDD-OIA 네 가지 NeSy 데이터셋에 대해 전략을 구현하고 평가함.
• 레이블 수준 및 개념 수준의 혼동 행렬을 사용하여 모델이 올바른 개념 의미를 학습했는지, 아니면 RS에 빠졌는지 평가함.
• 덧셈 및 곱셈 작업을 동시에 학습하는 다중 작업 학습(mtl)을 적용하여, 공동 최적화가 일관된 개념 학습을 강제함으로써 RS를 완화하는지 테스트함.

실험 결과

연구 질문

• RQ1 신경기호 모델에서 추론 단서(RS)가 발생하는 형식적 조건은 무엇인가?
• RQ2 사전 지식 구조, 데이터 분포, 학습 목표, 신경 아키텍처가 함께 RS 형성에 어떻게 기여하는가?
• RQ3 지도 학습 및 비지도 학습 기반의 완화 전략이 NeSy 모델에서 RS를 어느 정도 감소 또는 제거할 수 있는가?
• RQ4 RS는 큰 크기의 편향 없는 데이터셋에서도 지속되는가? 만약 그렇다면, 모델의 신뢰성과 해석 가능성에 어떤 영향을 미치는가?
• RQ5 보편적으로 효과적인 완화 전략이 존재하는가, 아니면 다양한 모델과 작업에 맞춤형 솔루션이 필요한가?

주요 결과

• 추론 단서는 DPL, SL, LTN 등 다양한 최신 NeSy 예측기에게 영향을 미치는 일반적인 현상이며, 데이터가 크고 편향이 없는 경우에도 발생한다.
• 완화 조치 없이 모든 테스트된 NeSy 모델은 XOR 및 MNIST 작업에서 정확한 개념 의미를 학습하지 못하고, 오직 일부 숫자(예: 3개 숫자)만 활용하거나 개념을 잘못 일치시키는 RS에 의존한다.
• 지도 학습 전략인 개념 지도 학습(c)과 다중 작업 학습(mtl)은 RS를 크게 감소시킨다. 특히 mtl은 MNIST-AddMul에서 대각선 혼동 행렬을 회복하여 올바른 개념 학습을 나타낸다.
• 비지도 학습 전략인 정규화(r)와 히ュ리스틱 일치(h)는 종종 RS를 완전히 제거하지 못하며, 모델은 여전히 열악하거나 잘못된 개념 의미를 학습한다.
• r와 h의 조합은 때로 성능을 향상시키지만 RS 제거를 보장하지 못하며, 일부 경우에서는 여전히 열악한 단서를 선택한다.
• 완화 조치가 적용된 후에도 SL 및 LTN 같은 모델은 특정 설정에서 RS에 빠지며, 현재의 조치가 취약하고 보편적으로 효과적이지 않음을 시사한다.