[논문 리뷰] Refining Neural Networks with Compositional Explanations.

Huihan Yao, Ying Chen외 3명|arXiv (Cornell University)|2021. 03. 18.

Explainable Artificial Intelligence (XAI)인용 수 3

한 줄 요약

이 논문은 편향된 데이터셋에서의 비의도적인 상관관계 문제를 해결하기 위해 인간이 제공한 조합적 설명을 활용해 신경망을 개선하는 방법을 제안한다. 비의도적인 패턴과 특징 상호작용에 관한 일반화 가능한 규칙을 통합함으로써, 이 방법은 텍스트 분류 작업에서 미리 보지 않은 타겟 도메인에서 모델의 강건성과 성능을 향상시킨다.

ABSTRACT

Neural networks are prone to learning spurious correlations from biased datasets, and are thus vulnerable when making inferences in a new target domain. Prior work reveals spurious patterns via post-hoc model explanations which compute the importance of input features, and further eliminates the unintended model behaviors by regularizing importance scores with human knowledge. However, such regularization technique lacks flexibility and coverage, since only importance scores towards a pre-defined list of features are adjusted, while more complex human knowledge such as feature interaction and pattern generalization can hardly be incorporated. In this work, we propose to refine a learned model by collecting human-provided compositional explanations on the models' failure cases. By describing generalizable rules about spurious patterns in the explanation, more training examples can be matched and regularized, tackling the challenge of regularization coverage. We additionally introduce a regularization term for feature interaction to support more complex human rationale in refining the model. We demonstrate the effectiveness of the proposed approach on two text classification tasks by showing improved performance in target domain after refinement.

연구 동기 및 목표

• 사전 정의된 특징에 대한 중요도 점수 조정만을 수행하는 기존 정규화 기법의 한계를 해결하기 위해, 복잡한 인간 지식의 커버리지가 부족하다.
• 비의도적인 패턴에 관한 일반화 가능한 규칙를 설명하는 조합적 인간 설명을 포착함으로써 모델의 일반화 능력을 향상시키기 위해.
• 정규화에 특징 상호작용을 포함시켜 더 복잡한 인간 근거가 모델 개선을 이끄는 데 기여하도록 확장하기 위해.
• 인간이 제공한 실패 사례 설명을 활용하여 분포 외 설정에서의 모델 강건성을 향상시키기 위해.
• 실제 텍스트 분류 작업에서의 효과성을 입증하며, 타겟 도메인에서 성능 향상을 이끌어내기 위해.

제안 방법

• 모델 실패 사례에 대한 인간 제공 조합적 설명을 수집하여 훈련 데이터 내 비의도적인 패턴을 식별하기 위해.
• 인간 설명에서 유도된 일반화 가능한 규칙와 훈련 예제를 매칭하는 정규화 항을 제안하여 고정된 특징 목록을 넘어서는 커버리지 확보하기 위해.
• 인간 근거에 기반한 특징 상호작용 정규화 구성요소를 도입하여 특징 간 복잡한 의존성을 모델링하기 위해.
• 조합적 설명 기반 정규화를 모델 훈련 과정에 통합하여 예측을 개선하고 비의도적인 상관관계에 대한 의존도를 줄이기 위해.
• 개선된 모델을 사용하여 비의도적인 상관관계가 빈번하게 발생하는 타겟 도메인 데이터에서 성능 향상 달성하기 위해.
• 후행 설명 방법을 활용하여 실패 사례를 식별하고 인간 제공 조합적 규칙 수집을 이끌기 위해.

실험 결과

연구 질문

• RQ1 조합적 인간 설명은 고정된 특징 중요도 조정을 넘어서 정규화의 커버리지와 효과성을 향상시킬 수 있는가?
• RQ2 정규화에 특징 상호작용 규칙을 통합할 경우, 분포 외 설정에서 모델의 강건성은 어떻게 영향을 받는가?
• RQ3 인간 설명에서 유도된 일반화 가능한 규칙는 편향된 데이터셋에서 비의도적인 상관관계에 대한 의존도를 어느 정도 줄일 수 있는가?
• RQ4 제안된 방법은 타겟 도메인 텍스트 분류 작업에서 측정 가능한 성능 향상을 이끌어낼 수 있는가?
• RQ5 실패 사례 설명은 효과적으로 확장 가능한 정규화 신호로 변환되어 모델 개선에 활용될 수 있는가?

주요 결과

• 개선된 후 타겟 도메인 텍스트 분류 작업에서 모델 성능이 향상되어 강건성이 향상됨을 입증하였다.
• 조합적 설명을 통합함으로써 전통적인 특징 중요도 기반 방법보다 더 넓은 범위의 훈련 예제에 대한 정규화가 가능해졌다.
• 특징 상호작용 정규화를 포함시킴으로써 단일 특징 규칙으로 포착되지 않는 복잡한 비의도적인 패턴을 더 잘 다룰 수 있게 되었다.
• 인간이 제공한 일반화 가능한 규칙를 활용함으로써 모델이 비의도적인 상관관계에 대한 의존도를 효과적으로 줄였다.
• 성능 향상이 미리 보지 않은 도메인에서 관찰됨으로써, 분포 외 데이터로의 일반화 능력 향상이 입증되었다.
• 제한된 수의 실패 사례만 애너테이션되어도 효과적으로 작동함을 보여, 실세계 환경에 대한 확장성 확보하였다.